手把手教你使用Hadoop自带的wordcount程序

打开终端，切换到hadoop用户，启动Hadoop

su hadoop
start-all.sh
mr-jobhistory-daemon.sh start historyserver

jps看一看Hadoop服务进程有没有运行成功

jps

我们在hadoop目录里新建一个test文件夹，然后新建两个文本，一个内容是“Hello World”，另一个内容是“Hello Hadoop”

cd $HADOOP_HOME
mkdir test
echo Hello World >> test/test1.txt
echo Hello Hadoop >> test/test2.txt

在HDFS上创建input文件夹

hadoop fs -mkdir /input

上传本地test目录中的文件到HDFS的input目录下

hadoop fs -put test/* /input

运行wordcount示例程序

cd $HADOOP_HOME/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.10.1.jar wordcount /input /output

WordCount输出结果

查看运行结果，首先查看HDFS的output路径下的文件信息。

hadoop fs -ls /output

可以看到在output目录下生成了2个文件，成功文件和结果文件。

最后查看结果文件的具体结果

hadoop fs -cat /output/part-r-00000

如果希望将Hadoop运行结果输出到本地文件系统，执行下面的命令

hadoop fs -get /output/* $HADOOP_HOME/test