Hadoop-yarn-状态机
Q3Q
技术共享
展开
-
Yarn的状态机StateMachine
这种大型的调度,主要用于类与类之间的调度,简单来说,就是一个类对于那些觉得自己管控不了的事情,就将其扔给别人来处理。Yarn中很多的类都是有调度器的,而且它们大多都是持有全局调度器,对于自己处理不了的事情,干脆利落地将其扔到RM或者NM的调度器中。全局调度器就相当于一个统筹者,一根线,把所有的类给串起来,而在很多类的内部,同样支持事件的处理,而本文就讨论下这种处理机制,状态机。声明:本...原创 2019-09-04 16:00:25 · 423 阅读 · 0 评论 -
YARN 状态机的原理和使用---Hadoop中央异步调度器AsyncDispatcher代码和设计解析
有了异步处理,为什么还需要状态机?可以保存对象当前的状态。当接收到一个事件后,可以根据不同的状态,可以方便的决定怎么处理。如接收到用户发送的KILL事件时:当Job的状态为正在初始化时,只要把启动的进程kill就可以。当Job的状态为正在运行,并且是提交到yarn的作业时,除了要把启动的进程kill,还需要调用yarn application -kill 把 yarn上运行的作业k...原创 2019-09-04 16:03:12 · 721 阅读 · 0 评论