在Hadoop YARN集群中，遇到MapReduce任务仅在一台slave节点上执行的情况。问题源于MRAppMaster负责任务分配但不执行任务。YARN作为资源调度器，与用户程序解耦，允许不同类型的分布式计算框架如Spark、Storm整合运行。当客户端提交MR程序后，ResourceManager分配任务，NodeManager领取并执行。理解YARN的工作机制有助于解决任务分配不平衡的问题。
maptask在哪台服务器上执行了，可以在http://1master:19888 日志聚合的界面查看，也可以在运行时查看节点cpu使用情况
本人使用yarn作为任务调度，两台slave，但是最终发现，要么全是slave1执行mapreduce，要么全是slave2执行mapreduce。
经查找资料发现，有一台nodemanger 作为mrAppmaster，用于向其他节点分配mapreduce任务，但是本身不参与mapreduce。
具体可参看以下文章：
yarn的基本概念
yarn并不清楚用户提交的程序的运行机制
yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源）
yarn中的主管角色叫ResourceManager
yarn中具体提供运算资源的角色叫NodeManager
这样一来，yarn其实就与运行的用户程序完全解耦，就意味着yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、storm程序，spark程序，tez
……
所以，sp
最低0.47元/天 解锁文章
5462
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
