词频统计案例分析:
wordcount: 统计文件中每个单词出现的次数
需求:求wc
- 文件内容小:shell(wc_shell.sh)
使用IDEA+Maven开发wc:
1)开发
2)编译:mvn clean package -DskipTests
3)上传到服务器:scp target/HDFS_Test-1.0-SNAPSHOT.jar zq@zq:~/lib
4)运行
hadoop jar /home/zq/lib/HDFS_Test-1.0-SNAPSHOT.jar MapReduce.WordCountApp hdfs://zq:8020/hello.txt hdfs://zq:8020/output/wc