eclipse运行hadoop自带的wordcount程序

1.前提准备条件

hadoop已经启动，eclipse已经成功链接dfs

2.新建文件夹和文件

我是在home/psy下新建wordcounttest文件夹

a.txt 文件内容为hello world

 b.txt文件内容为hello hadoop

 3.在hdfs上新建input文件夹

在hadoop的根目录下，我的为/home/psy/downloads/hadoop，

新建input：hadoop fs -mkdir input

查看hdfs内容:hadoop fs -ls

4.将本地文件put到hdfs上

将a.txt和b.txt都put到input文件夹中

 

 5.在eclipse中刷新，可以在name1下发现input文件夹

 

 6.查找hadoop自带的wordcount所在位置

我的所在位置为/home/psy/downloads/hadoop/share/hadoop/mapreduce中 

jar包名为hadoop-mapreduce-examples-2.7.6.jar

7.运行wordcount程序

output文件夹不需要建立

运行指令：

bin/hadoop  jar  /home/psy/downloads/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar  wordcount /input  /output

运行过程中会出现一个map100%,reduce 100%

 8.eclipse中刷新列表

可以看到如下界面

 

 查看运行结果：

运行一次以后系统会生成一个output文件夹，如果再次运行会提示output文件夹已经存在的错误所以需要在先删除output文件夹

删除的是hdfs上的文件

命令参考博文https://www.cnblogs.com/gaopeng527/p/4314215.html

output文件夹是空的，命令可以是hdfs dfs -rmdir /output

output文件夹不是空的，命令可以是hdfs dfs -rmr /output