MapReduce详细原理

什么是MapReduce？

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。
–来自百度百科

一、MapReduce的特点

主要思想：
1.分久必合
为了并行计算，会把一个大文件分开，最终又会合在一起，形成符合需求的大文件数据。
2.计算向数据移动
例如一个伐木工人（计算）要砍山上的树（数据），应该是工人（计算）去山上（数据）工作，而不是把山搬回自己家。
核心思想
相同的“key”为一组，调用一次reduce方法，方法内迭代这一组数据进行计算

二、MapReduce的计算原理

归并排序：
例如：两个数组[2,4,6]，[3,5]进行归并排序