Hadoop之MapReduce2架构设计

MapReduces2架构设计
     hadoop2.x 实现MR2 计算 ,资源作业调度-->YARN
   Yanr包括了ResourceManager和NodeManager两个服务,也属于Master/Slave架构



ResourceManaher --为用户提交的jar应用程序创建
    ApplicationsManager: 与NodeManger进行通信,要求NodeManager中的container启动应用程序的ApplicationMaster
    ResourceScheduler:资源管理和分配

NodeMnager
    ApplicationMaster:向ApplicationManager注册,向ResourceScheduler申请资源后与NodeManager通信,创建应用程序并分配任务监控运行结果
    Map Task|Reduces Task:干活的 汇报任务状态及进度给ApplicationMaster

Container  容器,Yanr的组件为运行任务而生


#ResourceSchuduler总大小
yarn.nodemanager.resource.memory-mb
#NodeManger上容器参数,默认1G增长
yarn.scheduler.minimum-allocation-mb       1024
yarn.scheduler.maximum-allocation-mb       8192
#虚拟Core,物理Core与虚拟 1:2
yarn.scheduler.minimum-allocation-vcores 1
yarn.scheduler.maximum-allocation-vcores 4




    

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31441024/viewspace-2155252/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31441024/viewspace-2155252/