Hadoop mapreduce原理学习

        最近整了很长一段时间才了解了map reduce的工作原理，shuffle是mapreduce的心脏，了解了这个过程，有助于编写效率更高的mapreduce程序和hadoop调优。自己画了一幅流程图（点击查看全图）：

另外，还找到一篇文章，很好，引用一下。

Hadoop

是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中，HDFS 和MapReduce 是两个最基础最重要的成员。

HDFS是Google GFS 的开源版本，一个高度容错的分布式文件系统，它能够提供高吞吐量的数据访问，适合存储海量（PB 级）的大文件（通常超过64M），其原理如下图所示：

 

采用Master/Slave 结构。NameNode 维护集群内的元数据，对外提供创建、打开、删除和重命名文件或目录的功能。DatanNode