MapReduce 的原理以及部署实现
MapReduce简介
-
mapreduce是hadoop中一个批量计算的框架,在整个mapreduce作业的过程中,包括从数据的输入,数据的处理,数据的数据输入这些部分,而其中数据的处理部分就要map,reduce,combiner等操作组成。在一个mapreduce的作业中必定会涉及到如下一些组件:
- 客户端,提交mapreduce作业;
- yarn资源管理器,负责集群上计算资源的协调;
- yarn节点管理器,负责启动和监控集群中机器上的计算容器(container);
- mapreduce的application master,负责协调运行mapreduce的作业;
- hdfs,分布式文件系统,负责与其他实体共享作业文件。
为什么需要Mapreduce
- 海量数据在单机上处理因为硬件资源限制,无法胜任;
- 而一旦将单机版程序扩展到集群来分布式运行,将极大增加程序的复杂度和开发难度;
- 引入 MapReduce 框架后,开发人员可以将绝大部分工作集中在业务逻辑的开发上,而将 分布式计算中的复杂性交由框架来处理。
Mapreduce的工作原理
- 第一步:客户端通过调用job.waitForCompletion()方法向整个集群提交MapReduces任务;
- 第二步:客户端通过getNewApplication方法向ResouceManager申请新应用,成功的话,ResourceManager会返回一个Applicationld;
- 第三步:客户端根据ApplicationId在HDFS上创建一个文件夹用于复制作业需要的资源文件,包括jar程序包,配置文件,以及输入split;
- 第四步:客户端通过submitApplications方法向ResourceManager提交作业;
- 第五步:ResourceManager在收到submitApplications请求后,会将该请求发送给scheduler(调度器),调度器会分配一个container,用来运行MRAppMaster应用程序,该应用管理器由所在的nodeManager负责监控;
- 第六步:MRAppMaster会对作业进行初始化,创建一些bookkeeping对象来监控作业的进度,获得任务进度和完成报告;
- 第七步:MRAppMaster会从HDFS上获取输入split,然后为每个split分配创建一个map任务;
- 第八步:MRAppMaster会根据Map和Reduce任务向ResorceManager申请container资源来运行这些任务;这些请求是通过心跳传输的,请求信息中包含Map和Reduce运行的数据块位置信息(如host和rack),资源调度器收到请求后,会尽量将Map/Reduce任务分配到存储数据块的节点或者分配到存有输入split节点的机架上的其他节点;
- 第九步:MRAppMaster会在资源调度器分配container后,联系对应的NodeManager启动container,运行一个YarnChlid的java应用程序;
- 第十步:YarnChild应用程序会从HDFS上获取jar文件,作业配置以及相应的资源文件;
- 第十一步: YarnChild通过.jar程序运行对应的Map或者Reduce任务;
- 第十二步:任务执行情况上报:Yarn将任务的执行情况和状态(包括container)上报给MRAppMaster,客户端定时刷新任务状态;
- 第十三步:作业完成后,会将作业状态进行清理包括MRAppMaster和Container,以及OutputCommiter上的作业清理方法也将会被调用,最后作业的历史信息将会被存储以备查询;
部署Mapreduce的过程
我们在server2上进行部署
- 步骤一:编写配置文件
- 步骤二:定义变量
- 步骤三:设置白名单
- 步骤四:启动yarn,并查看
注意:实际中,最好将ResourceManager和namenode分别安装在不同主机上,因为它们都是cpu密集型的
在所有的datanode中,会打开一个NodeManager
- 步骤五:访问server2的8088端口
这是一个管理界面