前言:小编引入的图片和文字描述都是来自于传智播客的视频讲解,在此感谢传智播客的老师
处理过程
- hdfs client 提交需要处理的计算任务
- ResourceManage包括ApplicationsManager和ResourceScheduler,ApplicationsManager启动MapReduceAppMaster
- MapReduceAppMaster向ApplicationsManager申请需要计算支撑的资源列表
- ReduceScheduler向MapReduceAppMaster回复资源列表
- MapReduceAppMaster向NodeManager申请开始计算,MapReduceAppMaster向NodeManager申请计算资源
- NodeManager启动MapTask,开始进行计算, nodeManager启动ReduceTask
- MapTask向ApplicationAppMaster响应计算结果,ReduceTask向ApplicationAppMaster响应计算结果
- ApplicationAppMaster向ApplicationsManager汇报计算结果
与上面的描述类似