MapReduces2架构设计
hadoop2.x 实现MR2 计算 ,资源作业调度-->YARN
Yanr包括了ResourceManager和NodeManager两个服务,也属于Master/Slave架构
![](//img.blog.itpub.net/blog/attachment/201805/28/31441024_1527516986tfjf.png?x-oss-process=style/bb)
ResourceManaher --为用户提交的jar应用程序创建
ApplicationsManager: 与NodeManger进行通信,要求NodeManager中的container启动应用程序的ApplicationMaster
ResourceScheduler:资源管理和分配
NodeMnager
ApplicationMaster:向ApplicationManager注册,向ResourceScheduler申请资源后与NodeManager通信,创建应用程序并分配任务监控运行结果
Map Task|Reduces Task:干活的 汇报任务状态及进度给ApplicationMaster
Container 容器,Yanr的组件为运行任务而生
#ResourceSchuduler总大小
yarn.nodemanager.resource.memory-mb
#NodeManger上容器参数,默认1G增长
yarn.scheduler.minimum-allocation-mb 1024
yarn.scheduler.maximum-allocation-mb 8192
#虚拟Core,物理Core与虚拟 1:2
yarn.scheduler.minimum-allocation-vcores 1
yarn.scheduler.maximum-allocation-vcores 4
hadoop2.x 实现MR2 计算 ,资源作业调度-->YARN
Yanr包括了ResourceManager和NodeManager两个服务,也属于Master/Slave架构
![](http://img.blog.itpub.net/blog/attachment/201805/28/31441024_1527516986tfjf.png?x-oss-process=style/bb)
ResourceManaher --为用户提交的jar应用程序创建
ApplicationsManager: 与NodeManger进行通信,要求NodeManager中的container启动应用程序的ApplicationMaster
ResourceScheduler:资源管理和分配
NodeMnager
ApplicationMaster:向ApplicationManager注册,向ResourceScheduler申请资源后与NodeManager通信,创建应用程序并分配任务监控运行结果
Map Task|Reduces Task:干活的 汇报任务状态及进度给ApplicationMaster
Container 容器,Yanr的组件为运行任务而生
#ResourceSchuduler总大小
yarn.nodemanager.resource.memory-mb
#NodeManger上容器参数,默认1G增长
yarn.scheduler.minimum-allocation-mb 1024
yarn.scheduler.maximum-allocation-mb 8192
#虚拟Core,物理Core与虚拟 1:2
yarn.scheduler.minimum-allocation-vcores 1
yarn.scheduler.maximum-allocation-vcores 4
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31441024/viewspace-2155252/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/31441024/viewspace-2155252/