MapReduce笔记整理(概念部分结)

MapReduce简介

1. 定义
   MapReduce 是一个分布式的运算程序的编程框架,基于hadoop的数据分析应用”的核心框架。
   Mapreduce 核心功能是将用户写的逻辑代码和默认组件整合成完整的分布式运算程序发布在hadoop集群上边

1.2 优缺点:

1.2.1 优点:

1. MapReduce 易于编程
   它简单的实现一些接口,就可以完成一个分布式的程序,这个程序可以分步到大量廉价的pc机器上去运行.就是说你写一个分布式的程序,和写一个简单的串行程序一样.因为这个特点所以MapReduce变得特别流行
2. 良好的扩展性
   当你的计算机计算资源满足不了你的时候,可以通过这种方式来扩展他的计算能力
3. 高容错性
   MapReduce 的初衷是使程序可以在廉价的机器上运行 ,这就要他有特别高的容错性.比如一台机器宕机了他就可以把上面的任务转到另一台机器去运行,这个任务不会失败,且这个过程不需要人工的参与,全部都由MapReduce内部来完成
4. 适合处理大量的离线数据
   MapReduce做不到毫秒级别的返回数据,所以只适合做离线处理数据
   ###1.2.2缺点:
5. 实时计算
   MapReduce无法像Mysql一样,在毫秒及内返回结果.
6. 流式计算
   流式计算的输入数据是动态的的,而MapReduce的输入的数据是静态的不能动态变化.这是因为MapReduce自身设计的特点决定了数据必须是静态的
7. Dag计算(有向图)
   多个应用程序存在依赖关系,后一个应用程序的输入为前一个的输出.在这种情况之下MapReduce 并不是不能使用,而是用后会导致性能非常的低下

1.3MapReduce核心思想

在 MapReduce 整个过程可以概括为以下过程:
输入>>>>map>>>>shuffle>>>>reduce>>>>输出
具体过程如下:
1、输入文件分片，每一片都由一个MapTask来处理
2、Map输出的中间结果会先放在内存缓冲区中，这个缓冲区的大小默认是100M，当缓冲区中的内容达到80%时（80M）会将缓冲区的内容写到磁盘上。也就是说，一个map会输出一个或者多个这样的文件，如果一个map输出的全部内容没有超过限制，那么最终也会发生这个写磁盘的操作，只不过是写几次的问题。
3、从缓冲区写到磁盘的时候，会进行分区并排序，分区指的是某个key应该进入到哪个分区，同一分区中的key会进行排序，如果定义了Combiner的话，也会进行combine(合并)操作
4、如果一个map产生的中间结果存放到多个文件，那么这些文件最终会合并（mergeon）成一个文件，这个合并过程不会改变分区数量，只会减少文件数量。例如，假设分了3个区，4个文件，那么最终会合并成1个文件，3个区
5、以上只是一个map的输出，接下来进入reduce阶段
6、每个reducer对应一个ReduceTask，在真正开始reduce之前，先要从分区中抓取数据
7、相同的分区的数据会进入同一个reduce。这一步中会从所有map输出中抓取某一分区的数据，在抓取的过程中伴随着排序、合并。
8、reduce输出
(1)分布式的运算程序往往需要分成至少2个阶段。
(2）第一个阶段的maptask并发实例，完全并行运行，互不相干。
(3）第二个阶段的reduce task并发实例互不相干，但是他们的数据依赖于上一个阶段的所有maptask并发实例的输出。
(4）MapReduce编程模型只能包含一个map阶段和一个reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个mapreduce程序，串行运行。

总结:

map task 从split中读取数据，进行处理后，输出key/value，对键值对进行Partitioner后，存入到缓存中，缓存默认大小是100M，当缓存内容达到80M时，启动溢写操作，把缓存区数据写入一个溢写文件，在写入文件之前，会对键值对进行分区排序和合并（如果设置的话）,当该map task处理完所有数据后，需要对该map生成的所有溢写文件进行merger操作，生成一个文件作为该maptask的成果，reduce task接受到通知后，就回拉取各个map task的成果数据，放到缓存区中，当缓存区内容达到阀值时，同样执行溢写操作，生成溢写文件，当把所有的map task的成果数据读取完毕后，会把生成的所有溢写文件进行merge操作，生成一个文件作为reduce task的输出数据。

1.4 MapReduce编程的规范

用户编写的程序分三个阶段:Mapper、Reducer和Driver。
1．Mapper阶段
（1）用户自定义的Mapper要继承自己的父类
（2）Mapper的输入数据是KV对的形式（KV的类型可自定义）
（3）Mapper中的业务逻辑写在map()方法中
（4）Mapper的输出数据是KV对的形式（KV的类型可自定义）
（5）map()方法（maptask进程）对每一个<K,V>调用一次
2．Reducer阶段
（1）用户自定义的Reducer要继承自己的父类
（2）Reducer的输入数据类型对应Mapper的输出数据类型，也是KV
（3）Reducer的业务逻辑写在reduce()方法中
（4）Reducetask进程对每一组相同k的<k,v>组调用一次reduce()方法
3．Driver阶段
相当于yarn集群的客户端，用于提交我们整个程序到yarn集群，提交的是封装了mapreduce程序相关运行参数的job对象

============================================================================================================================================
理论结束接下来上代码