大数据_MapReduce

六、MapReduce程序开发

1、Demo：WordCount单词计数
         /root/training/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

         执行:
         hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/mr/wc1213

         分析WordCount程序数据处理的过程（非常重要）

2、开发自己的WordCount程序
   开发一个MapReduce：求每个部门的工资总额

3、MapReduce的一些高级特性
    （1）序列化：类似Java的序列化
    （2）排序：默认排序：   数字     升序
                        字符串   字典顺序
                        对象的排序：按照员工的薪水排序

    （3）分区：Partition，默认情况下，MapReduce只有一个分区，意思是：只有一个输出文件
    （4）合并：Combiner，在Mapper端，先做一次Reducer，用于减少输出到Reducer中的数据，从而提高效率
    （5）MapReduce的核心：Shuffle（洗牌）



七、MapReduce的编程案例

分析WordCount数据处理的过程

MapReduce的计算模型