MapReduce详解

MapReduce作业执行涉及的四个独立实体

1、客户端(client)

编写mapreduce程序，配置作业，提交作业，这就是程序员完成的工作；

2、JobTracker

初始化作业，分配作业，与TaskTracker通信，协调整个作业的执行；

3、TaskTracker

保持与JobTracker的通信，在分配的数据片段上执行Map或Reduce任务，TaskTracker和JobTracker的不同有个很重要的方面，就是在执行任务的时候TaskTracker可以有n多个，而JobTracker则只会有一个；

4、Hdfs

保存作业的数据、配置信息等，最后的结果也是保存在hdfs上。

MapReduce运作详解

流程角度运作机制详解

1. 客户端编写好MapReduce程序，配置好MapReduce的作业(job)；
2. 提交job到JobTrackershang；
3. JobTracker分配一个新的job任务的ID值，检查输出目录是否存在，如果存在就抛出错误给客户端；检查输入目录是否存在，如果不存在同样抛出错误。根据输入计算输入分片(Input Split)，如果分片计算不出来也会抛出错误。
4. 以上检查都通过，JobTracker就会配置Job需要的资源；
5. JobTracker初始化作业，将Job放入一个内部的队列，让配置好的作业调度器能调度到这个作业；
6. 作业调度器初始化job，创建一个正在运行的job对象（封装任务和记录信息），以便JobTracker跟踪job的状态和进程；
7. 作业调度器获取输入分片信息（input split），每个分片创建一个map任务；
8. tasktracker运行一个简单的循环机制定期发送心跳给jobtracker(间隔五秒，可配置)，心跳是jobtrcker和tasktracker沟通的桥梁，通过心跳，jobtracker可以监控tasktracker是否存活，也可以获取tasktracker处理的状态和问题，同时tasktracker也可以通过心跳里的返回值获取jobtracker给他的操作命令；
9. 分片执行任务，在任务执行的时候jobtracker可以通过心跳机制监控tasktracker的状态和进度，同时也能计算出整个job的状态和进度，而tasktracker也可以本地监控自己的状态和进度；
10. 当jobtracker获得了最后一个完成指定任务的tasktracke操作成功的通知的时候，jobtracker会把整个job状态置为成功；
11. 之后，当客户端查询job运行状态的时候(异步操作)，客户端会查到job完成的通知，任务执行完成；
12. 如果job中途失败，mapreduce也会有相应的处理机制，一般而言如果不是程序本身有bug，mapreduce错误处理机制都能保证提交的job能正常完成，如果是程序本身bug，任务在重复执行2~3次后，会结束执行，jobtracker会把整个job状态置为失败。

逻辑实体运作机制详解

1. 输入分片(input split)：在进行map计算之前，mapreduce会根据输入文件计算输入分片(input split)，每个输入分片(input split)针对一个map任务，输入分片(input split)存储的并非数据本身，而是一个分片长度和一个记录数据的位置的数组。输入分片(input split)往往和hdfs的block关系密切，假如我们设定hdfs的块的大小是64MB，如果我们输入三个文件，大小分别是3MB，65MB和127MB，那么mapreduce会把3MB文件分为一个输入分片(input split)，65MB则是两个输入分片(input split)，127MB也是两个输入分片(input split)，换句话说我们如果在map计算前做出输入分片调整，例如合并小文件，那么就会有5个map任务将执行，而且每个map执行的数据大小不均，这个也是mapreduce优化计算的一个关键点；
2. map阶段：就是我们写的map函数，map函数效率相对好控制，而且一般map操作都是本地化操作也就是在数据存储节点上进行；map函数每次处理一行数据，map主要用于数据的分组，为下一步reduce的运算做数据准备，map的输出就是reduce的输入；
3. combiner阶段：combiner阶段是可选的，combiner是一个本地化的reduce操作，它是map运算的后续操作，主要是在map计算出中间文件前做一个简单的合并重复key值的操作，使传入reduce的文件变小，这样就提高了宽带的传输效率，毕竟hadoop计算能力宽带资源往往是计算的瓶颈，也是最为宝贵的资源，但是combiner操作是有风险的，使用它的原则是combiner的输入不会影响到reduce计算的最终输入，例如：如果计算只是求总数，最大值，最小值可以使用combiner，但是做平均值计算使用combiner的话，最终的reduce计算结果就会出错,why！？…
4. shuffle阶段：将map的输出作为reduce的输入的过程就是shuffle，它是mapreduce优化的重点。一般而言，mapreduce计算的都是海量数据，map输出的时候不可能把所有文件都放到内存进行操作，因此map写入磁盘的过程十分的复杂，更何况map输出的时候要对结果进行排序，内存开销是很大的。map在做输出的时候会在内存里开启一个环形内存缓冲区，这个缓存区专门用来输出，默认大小是100MB，并且在配置文件里为这个缓存区设定了一个阀值，默认是0.8(这个大小和阀值都是可以在配置文件里进行配置)，同时map还会为输出操作启动一个守护线程，如果缓冲区的内存达到了阀值的80%的时候，这个守护线程就会把内容写到磁盘上，这个过程叫spill。当溢写线程启动后，需要对这80MB空间内的key做排序(Sort)。排序是MapReduce模型默认的行为，这里的排序也是对序列化的字节做的排序。另外的20%内存可以继续写入要写进磁盘的数据，写入磁盘和写入内存操作是互不干扰的，如果内存区已满，那么map将会阻塞写入内存的操作，让写入磁盘操作完成后再继续执行写入内存操作。写到磁盘的溢写文件在写入之前对不同的reduce端的数值进行了合并，例如，如果有多个key/value对儿需要发送到某个reduce端去，那么需要将这些key/value值拼接到一块，减少与partition相关的索引记录。把相同的key值合并的过程叫reduce也叫combine。但在MapReduce的术语中，reduce只指reduce端执行从多个map task取数据做计算的过程。除reduce外，非正式地合并数据只能算作combine了。其实大家都知道，MapReduce中将Combiner等同于Reducer。 如果client设置过Combiner，那么现在就是使用Combiner的时候了。将有相同key的key/value对的value加起来，减少溢 写到磁盘的数据量。Combiner会优化MapReduce的中间结果，所以它在整个模型中会多次使用。那哪些场景才能使用Combiner呢？从这里 分析，Combiner的输出是Reducer的输入，Combiner绝不能改变最终的计算结果。所以从我的想法来看，Combiner只应该用于那种 Reduce的输入key/value与输出key/value类型完全一致，且不影响最终结果的场景。比如累加，最大值等。Combiner的使用一定 得慎重，如果用好，它对job执行效率有帮助，反之会影响reduce的最终结果。 每次spill操作也就是写入磁盘操作时候就会写一个溢出文件，也就是说在做map输出有几次spill就会产生多少个溢出文件，等map输出全部做完后，map会合并这些输出文件。这个过程里还会有一个Partitioner操作，Partitioner操作和map阶段的输入分片（Input split）很像，一个Partitioner对应一个reduce作业，如果我们mapreduce操作只有一个reduce操作，那么Partitioner就只有一个，如果我们有多个reduce操作，那么Partitioner对应的就会有多个，Partitioner因此就是reduce的输入分片，这个我们可以编程控制，主要是根据实际key和value的值，根据实际业务类型或者为了更好的reduce负载均衡要求进行，这是提高reduce效率的一个关键所在。到了reduce阶段就是合并map输出文件了，Partitioner会找到对应的map输出文件，然后进行复制操作，复制操作时reduce会开启几个复制线程，这些线程默认个数是5个，我们也可以在配置文件更改复制线程的个数，这个复制过程和map写入磁盘过程类似，也有阀值和内存大小，阀值一样可以在配置文件里配置，而内存大小是直接使用reduce的tasktracker的内存大小，复制时候reduce还会进行排序操作和合并文件操作，这些操作完了就会进行reduce计算了。
5. reduce阶段：我们编写的reduce函数，reduce的输入是map的输出，reduce是主要的逻辑运算阶段，我们绝大部分业务逻辑都是在reduce阶段完成的，并把最终结果存储在hdfs上的。

内置数据类型

1. BooleanWritable:标准布尔型数值
2. ByteWritable:单字节数值
3. DoubleWritable:双字节数值
4. FloatWritable:浮点数
5. IntWritable:整型数
6. LongWritable:长整型数
7. Text:使用UTF8格式存储的文本
8. NullWritable:当