Eclipse Hadoop之WordCount运行

上一篇博客介绍了如何在eclipse中添加本地hadoop依赖

这一次是老师布置的作业，我也是在B战上看到了基础教学视频，视频2是接着视频1的。现在来做个总结

• 视频1
• 视频2

目录结构如下

代码下载
密码: 0uwj
在eclipse中打开是这样的：

准备工作

1. hdfs开启

/hadoop安装目录/sbin/start-dfs.sh

2. yarn开启

/hadoop安装目录/sbin/start-yarn.sh

3. jps测试
   
4. 数据准备

• 创建目录 /test3/input

hdfs dfs -mkdir /test3

hdfs dfs -mkdir /test3/input

• 本地编辑一个文件 input.txt
  随便写点内容
• 将input.txt上传至/test3/input

hadoop fs -put input.txt /test3/input

运行

• 在eclipse中，将项目导出jar包 wordcount.jar
• 执行命令

hadoop jar wordcount.jar wordcount.WordCountRunner

• 过程
  等待即可
  
• 结果

1. success标志为0，代表map-reduce成功
   
2. 查看文件内容

hadoop fs -cat /test3/output/part-r-00000