1、MapReduce 开发流程
- 搭建开发环境,参考HDFS 环境搭建,基本一致
- 基于MapReduce 框架编写代码
- 编译打包,将源代码和依赖jar 包打成一个包
- 上传至运行环境
- 运行hadoop jar 命令,现已由yarn jar 替代,建议使用新命令提交执行
具体提交命令为:
yarn jar testhdfs-jar-with-dependencies.jar com.tianliangedu.driver.WordCount
/tmp/tianliangedu/input /tmp/tianliangedu/output3
- 通过yarn web ui 查看执行过程
web地址为:http://slave1:8088/cluster
执行后的结果:
2、代码实现
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop