MR计算模型三

MapReduce的作业执行涉及的4个独立实体

1. 客户端：（client）
2. 编写mapreduce程序，配置作业，提交作业，这就是程序员完成的工作。
3. JobTracker：
4. 初始化作业，分配作业，与TaskTracker通信，协调整个作业的执行。
5. TaskTracker：
6. 保持与JobTracker的通信，在分配的数据片段上执行Map或Reduce任务，TaskTracker和JobTracker的不同有个很重要的方面，就是在执行任务的时候TaskTracker可以有n多个，JobTracker则只会有一个。

MapReduce运作详解1

流程角度运作机制详解：

1. 客户端编写好mapreduce程序，配置好mapreduce的作业（也就是job）。
2. 提交job到JobTracker上。
3. JobTracker分配一个新的job任务的ID值；
4. 检查输出目录是否存在，如果存在就抛出错误给客户端；
5. 检查输入目录是否存在，如果不存在同样抛出错误；
6. 根据输入计算输入分片（input split），如果分片计算不出来也会抛出错误。

MapReduce运作详解2

1. 以上检查都通过，JobTracker就会配置Job需要的资源。
2. JobTracker初始化作业，将Job放入一个内部的队列，让配置好的作业调度器能调度到这个作业。
3. 作业调度器初始化job，创建一个正在运行的job对象（封装任务和记录信息），以便JobTracker跟踪job的状态和进程
4. 作业调度器获取输入分片信息（input split），每个分片创建一个任务。

MapReduce运作详解3

1. taskTracker运行一个简单的循环机制定期发送心跳给JobTracker（间隔五秒，可配置），心跳是JobTracker和taskTracker沟通的桥梁，通过心跳，jobTracker可以监控taskTracker是否存活，也可以获取taskTracker处理的状态和问题，同时taskTracker也可以通过心跳里返回值获取jobTracker给它的操作指令。
2. 分片执行任务，在任务执行时候jobTracker可以通过心跳机制监控taskTracker的状态和进度，同时也能计算出整个job的状态和进度，而tasktracker也可以本地监控自己的状态和进度。
3. 当jobtracker获得了最后一个完成指定的taskTracker操作成功的通知时候，jobTracker会把整个job状态设为成功。

MapReduce运作详解4

1. 然后当客户端查询job运行状态时候（异步操作），客户端会查询到job完成的通知的，任务执行完成。
2. 如果job中途失败，mapreduce也会有相应机制处理，一般而言如果不是程序本身有bug，mapreduce错误处理机制都能保证提交的job能正常完成，如果是程序本身bug，任务在重复执行2~3次后，会结束执行，jobTracker会把job状态设置为失败。

MapReduce运作详解5

1. 输入分片（input split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片，每个输入分片针对一个map任务，输入分片存储的并非数据本身，而是一个分片长度和一个记录数据的位置的数组，输入分片往往和hdfs的block关系很密切。
2. 假如我们设定hdfs的快的大小是64mb，如果我们输入有三个文件，大小分别是3mb,65mb和127mb，那么mapreduce会把3mb文件分为一个输入分片，65分为两个分片，而127也是两个，
3. 换句话说我们如果在map计算前做输入分片调整，例如合并小文件，那么就会有5个map任务执行，而且每个map执行的数据大小不均，出现数据倾斜，这个也是mapreduce优化计算的一个关键点。

MapReduce运作详解6

1. map结算：就是我们写的map函数，map函数效率相对好控制，而且一般map操作都是本地化操作也就是在数据存储节点上进行；map函数每次处理一行数据，map主要用于数据的分组，为下一步reduce的运算做数据准备，map的输出救赎reduce的输入。

MapReduce运作详解7

1. combiner阶段：combiner阶段是可选的，combiner是一个本地化的reduce操作，它是map运算的后续操作，主要在map计算出中间文件前做一个简单的合并重复的key值的操作，使传入reduce的文件变小，这样就是提高了带宽的传输效率，毕竟hadoop计算力带宽资源往往是计算的瓶颈也是最宝贵的资源，但是combiner操作是有风险的，使用它的原则是combiner的输入不会影响到reduce计算的最终输入
2. 例如：如果计算只是求总数，最大值，最小值可以使用combiner，但是做平均值计算使用combiner的话，最终的reduce计算结果就会出错。

MpReduce运作详解8

1. shuffle阶段：
2. 将map的输出作为reduce的输入的过程就是shuffle了。
3. 这个是mapreduce优化的重点地方。
4. shuffle一开始就是map阶段做输出操作，一般mapreduce计算的都是海量数据，map输出时候不可能把所有文件都放到内存操作，因此map写入磁盘的过程十分复杂，更何况map输出时候要对结果进行排序，内存开销是很大的，
5. map在做输出时候会在内存里开启一个环形缓冲区，这个缓冲区专门用来输出的，默认大小是100mb，并且在配置文件里面为这个缓冲区设定一个阀值，默认是0.8，同时map还会为输出操作启动一个守护线程，如果缓冲区的内存达到了阀值的80%时候，这个守护线程就会把内容写入磁盘上，这个过程叫spill，另外的20%内存可以继续写入要写进磁盘的数据，写入磁盘和写入内存操作互补干扰的，
6. 如果缓存区被撑满了，那么map就会组织写入内存的操作，让写入磁盘操作完成后再继续执行写入内存操作，写入磁盘前会有个排序操作，就是在写入磁盘操作的时候进行，不是在写入内存时候进行的，如果我们定义了combiner函数，那么排序前会执行combiner操作。

MapReduce运作详解9

1. 每次spill操作也就是写入磁盘操作时候就会写一个溢出文件，也就是说在做map输出有几次spill就会产生多少个溢出文件，等map输出全部完成后，map会合并这些输出文件
2. 这个过程还有一个partitioner操作，partitioner操作和map阶段的输入分片很像，一个partitioner对应一个reduce作业，如果我们mapreduce操作只有一个reduce操作，那么partitioner就只有一个，如果有多个reduce操作，那么partitioner赌赢的就会有多个，partitioner因此即使reduce的输入分片，这个我们可以变成控制，只要是根据实际key和value的值，根据实际业务类型或者为了更好的reduce则在均衡要求进行，这是提高reduce效率的一个关键所在。
3. 到了reduce阶段就是map输出文件了，partitioner会找到对应的map输出文件，然后进行复制操作，复制操作时reduce会开启几个复制线程，这些线程默认是5个，我们也可以在配置文件更改复制线程的个数，这个复制过程和map写入磁盘过程类似，也有阀值和内存大小，
4. 阀值一样可以在配置文件里配置，而内存大小是直接使用reduce的tasktracker的内存大小，复制时候reduce还会进行排序操作和合并文件操作，这些操作完成了就会进行reduce计算了。

MapReduce运作详解10

1. reduce阶段：
2. 我们编写的reduce函数，reduce的输入时map输出，reduce是主要的逻辑晕眩阶段，我们绝大部分业务逻辑都是在reduce阶段完后才能的，并把最终结果存储在hdfs上的。