MapReduce的“Hello world”和Shuffle初步理解

    前言：任何一种编程语言，开场白基本都是“Hello World”，那么对于Hadoop的计算框架MapReduce一样有着自己的“开场白”，那就是“WordCount”，词频统计这一实例，在任何一个版本的Hadoop安装程序中都会有，下面也会给大家初步介绍如何启动，并分享一下我对Shuffle的初步理解

WordCount实例启动

1.创建任意文本并上传到HDFS
hadoop-2.8.1]$ bin/hdfs dfs -put test.log /wordcount/input/
2.提交jar包，计算，结果输出到/wordcount/output1中
hadoop-2.8.1]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount /wordcount/input /wordcount/output1
3.查看输出目录
hadoop-2.8.1]$ hdfs dfs -ls /wordcount/output1
4.查看输出文件
hadoop-2.8.1]$ hdfs dfs -cat  /wordcount/output1/part-r-00000

WC作为MapReduce的初级实例，对我们理解MapReduce工作原理有很大帮助，详细内容大家可以参考如下博客链接。

MapReduce工作原理图文详解

Shuffle初步理解