hadoop的MRv1
- JobTracker
- 接收client端提交的任务;
- 分配任务给TaskTracker;
- 监控TaskTracher;
- TaskTracher
- 执行JobTracher分配给自己的任务
- 缺点:
- 计算资源和计算模型的管理调度耦合。即JobTracker自己资源调度、并监控管理TaskTracker
- 集群的资源受jobTracker的能力限制
- 不是一个通用框架,只是针对hadoop的mr
hadoop的MRv2(on yarn)
- 当启动yarn时,会在制定的节点存在resourceManager进程,在每个slaves的配置文件中配置的节点上存在nodeManager进程。
- resourceManager(Ha通过zookeeper )负责任务接收和调度:
- 任务接收;applicationManager。当client提交applicationMaster给rm时,applicationManager进行任务接收,并分配一个container给这个applicationMaster,之后管理该applicationMaster,进行失败重启等。
- 任务调度;Scheduler。nodeManager会定期向rm汇报每个nodeManager的资源情况。当applicationMaster向rm询问执行task的资源时,Scheduler负责调度。
- nodeManager会负责向管理本地资源并向rm汇报本地资源使用情况;分