MapReduce的工作流程
作业执行涉及4个独立的实体
客户端,用来提交MapReduce作业
JobTracker,用来协调作业的运行
TaskTracker,用来处理作业划分后的任务
HDFS,用来在其它实体间共享作业文件
客户端,用来提交MapReduce作业
JobTracker,用来协调作业的运行
TaskTracker,用来处理作业划分后的任务
HDFS,用来在其它实体间共享作业文件
首先,客户端编写好MapReduce的程序,提交一个job到JobTracker上,JobTracker构建一个Job,具体就是分配新的一个job的ID值。
然后检查输入和输出文件是否存在,如果输出文件存在,或者输入文件不存在,JobTracker就会报错。输入文件存在JobTracker就会计算分片,分片计算不出来也会报错。都没问题就给job配置资源。
分配好资源后,JobTracker就会初始化作业,把job放入一个内部的队列,让配置好的作业调度器能调度到这个作业,作业调度器会初始化这个job,初始化就是创建一个正在运行的job对象(封装任务和记录信息),以便JobTracker跟踪job的状态和进程。
初始化完毕后,作业调度器会获取输入分片信息(input split),每个分片创建一个map任务。
接下来就是任务分配了,这个时候tasktracker会运行一个简单的循环机制定期发送心跳给jobtracker,心跳间隔是5秒,程序员可以配置这个时间,心跳就是jobtracker和tasktracker沟通的桥梁,通过心跳,jobtracker可以监控tasktracker是否存活,也可以获取tasktracker处理的状态和问题,同时tasktracker也可以通过心跳里的返回值获取jobtracker给它的操作指令。
任务分配好后就是执行任务了。在任务执行时候jobtracker可以通过心跳机制监控tasktracker的状态和进度,同时也能计算出整个job的状态和进度,而tasktracker也可以本地监控自己的状态和进度。当jobtracker获得了最后一个完成指定任务的tasktracker操作成功的通知时候,jobtracker会把整个job状态置为成功,然后当客户端查询job运行状态时候(注意:这个是异步操作),客户端会查到job完成的通知的。如果job中途失败,mapreduce也会有相应机制处理,一般而言如果不是程序员程序本身有bug,mapreduce错误处理机制都能保证提交的job能正常完成。
任务分配好后就是执行任务了。在任务执行时候jobtracker可以通过心跳机制监控tasktracker的状态和进度,同时也能计算出整个job的状态和进度,而tasktracker也可以本地监控自己的状态和进度。当jobtracker获得了最后一个完成指定任务的tasktracker操作成功的通知时候,jobtracker会把整个job状态置为成功,然后当客户端查询job运行状态时候(注意:这个是异步操作),客户端会查到job完成的通知的。如果job中途失败,mapreduce也会有相应机制处理,一般而言如果不是程序员程序本身有bug,mapreduce错误处理机制都能保证提交的job能正常完成。
简单的工作流程
创建job
job-》 input file output file
job -》 reduce map
job- 》 outputkey value 数据类型
启动job
创建job
job-》 input file output file
job -》 reduce map
job- 》 outputkey value 数据类型
启动job
MapReduce运行机制
在Hadoop中,一个MapReduce作业会把输入的数据集切分为若干独立的数据块,由Map任务以完全并行的方式处理
框架会对Map的输出先进行排序,然后把结果输入给Reduce任务。
作业的输入和输出都会被存储在文件系统中,整个框架负责任务的调度和监控,以及重新执行已经关闭的任务
MapReduce框架和分布式文件系统是运行在一组相同的节点,计算节点和存储节点都是在一起的
框架会对Map的输出先进行排序,然后把结果输入给Reduce任务。
作业的输入和输出都会被存储在文件系统中,整个框架负责任务的调度和监控,以及重新执行已经关闭的任务
MapReduce框架和分布式文件系统是运行在一组相同的节点,计算节点和存储节点都是在一起的
MapReduce作业处理的流程
输入——》 分片 ——》 map函数整理数据(默认linereader按行读取)——》 shuffling 排序(默认按key值进行排序) 把map的输出作为输入 ,输入到reduce ——》 reduce 函数整理数据——》 输出
在编码过程中,就是对map和reduce函数进行编码,实现定制。