运行第一个Hadoop程序--WordCount

1、在本地根目录下创建两个测试文件

echo "hello world">>test1
echo "hello hadoop world" >>test2

2、在HDFS上创建一个input文件夹，用于存放要测试的文件

hadoop fs -mkdir /input

3、将本地文件上传到HDFS中

hadoop fs -put ./test* /input

4、可以查看一下HDFS的input文件夹中是否已经存在测试文件

hadoop fs -ls /input/

5、切换目录至hadoop下，输入下面命令

[root@master hadoop-2.6.0]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output/wordcount1

6、若不报错，则可以通过命令查看到输出成功的文件

 hadoop fs -ls /output/wordcount1 
Found 2 items
-rw-r--r--   1 root supergroup          0 2018-01-20 06:53 /output/wordcount1/_SUCCESS
-rw-r--r--   1 root supergroup         25 2018-01-20 06:53 /output/wordcount1/part-r-00000

7、查看统计信息

[root@master hadoop-2.6.0]# hadoop fs -cat /output/wordcount1/part-r-00000
hadoop    1
hello    2
world    2 

 

转载于:https://my.oschina.net/u/3801367/blog/1649387