MapReduce的“Hello world”和Shuffle初步理解

最新推荐文章于 2024-07-29 01:07:42 发布

青青青的菜地

最新推荐文章于 2024-07-29 01:07:42 发布

阅读量410

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/qq_25302531/article/details/80711971

版权

本文介绍了MapReduce的入门示例WordCount的启动过程，并对其工作原理进行了简单阐述，重点讨论了Shuffle阶段在MapReduce中如何整理数据以提高reduce阶段的效率。

摘要由CSDN通过智能技术生成

前言：任何一种编程语言，开场白基本都是“Hello World”，那么对于Hadoop的计算框架MapReduce一样有着自己的“开场白”，那就是“WordCount”，词频统计这一实例，在任何一个版本的Hadoop安装程序中都会有，下面也会给大家初步介绍如何启动，并分享一下我对Shuffle的初步理解

WordCount实例启动

1.创建任意文本并上传到HDFS
hadoop-2.8.1]$ bin/hdfs dfs -put test.log /wordcount/input/
2.提交jar包，计算，结果输出到/wordcount/output1中
hadoop-2.8.1]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount /wordcount/input /wordcount/output1
3.查看输出目录
hadoop-2.8.1]$ hdfs dfs -ls /wordcount/output1
4.查看输出文件
hadoop-2.8.1]$ hdfs dfs -cat  /wordcount/output1/part-r-00000

WC作为MapReduce的初级实例，对我们理解MapReduce工作原理有很大帮助，详细内容大家可以参考如下博客链接。

MapReduce工作原理图文详解

Shuffle初步理解