Mapreduce原理及应用

Mapreduce原理

MapReduce（以下简称MR）是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

MR主要思想:分久必合

MR是由两个阶段组成
Map端
Reduce端

MR核心思想：“相同”的key为一组，调用一次reduce方法，方法内迭代这一组数据进行计算

MapReduce分布式计算原理

MR在计算之前，会将HDFS上的文件划分切片
默认大小 block = split切片 = map task 注:split会比block大几kb或小几kb，因为block是严格按照字节切分，防止数据乱码，会将block下一块的第一行数据也添加进去；

Shuffle write阶段

Map task将处理后的每一条记录打上标签，打标签的目的就是为让这一条知道将来被哪一个redcuce task处理，然后进入buffer后，每一条记录是由三部分组成：1、分区号 2、key 3、value，Map task往buffer中写入过程中，一旦写入到80M，此时会将这80M的内存封锁，封锁后，会对内存中的数据进行combiner(小聚合)，然后进行排序，将相同分区的数据放到一起，并且分区的数据是有序的，以上的combiner以及排序完成后，就开始溢写数据到磁盘上，此时的磁盘文件就是一个根据分区号，分好区的，并且内部有序的文件combiner、sort、spill每进行一次溢写，就会产生一个磁盘小文件

Map task计算完毕后，会将磁盘上的小文件合并成一个大文件，