MapRdeuce&Yarn的工作机制
一幅图解决你所有的困惑
那天在集群中跑一个MapReduce的程序时,在机器上jps了一下发现了每台机器中有好多个YarnChild。困惑什么时YarnChild,当程序跑完后就没有了,神奇。后来百度了下,又问问了别的大佬。原来是这样
什么是YarnChild:
答:MrAppmaster运行程序时向resouce manager 请求的maptask/reduceTask。也是运行程序的容器。其实它就是一个运行程序的进程。
图解说下:
hadoop1版本的MapRdeuce&Yarn的工作机制
1.客户端发来request。JobTracker接受request。
2.JobTracker将客户端发来的request任务分配给TaskTracker
3.然后TaskTracker生成maptask运行程序
4.JobTracker不仅要负责资源调度,还要负责监控应运运算流程。
缺点:耦合的高,当JobTracker死掉时,所有的客户端的请求任务都会死掉,而hado