Java端
项目右键Build Path → Configure Build Path → Librarys → Add Library → User Library → hadoop-lib121
- 获取配置文件
从yarn虚拟机中拷贝4个配置文件
- 实例化job对象
- 设置job的主类
- 设置job的名称
- 设置Job的reduce数量
- 设置job的mapper输出key和value的类型
- 设置job的mapper
- ? extends Mapper <key–偏移量,value–这一行数据,outputkey–输出的key类型,outputvalue–输出的value类型>
- map(key,value,context)
- ? extends Mapper <key–偏移量,value–这一行数据,outputkey–输出的key类型,outputvalue–输出的value类型>
- 设置job的reducer
- ? extends Reducer<key–map.key,value–map.value,outputkey–输出到hdfs的key,outputvalue–输出到hdfs的value>
- reduce(key,iterable,context)
- ? extends Reducer<key–map.key,value–map.value,outputkey–输出到hdfs的key,outputvalue–输出到hdfs的value>
- 提交任务,等待任务完成
项目压缩jar包
选中要进行打包的Java项目,右键 → 选中 " Export " 选项
选择java → JAR file
选择生成位置
Finish
Linux 端
将其上传到Linux服务器上
Linux执行jar包命令
--语法:
hadoop jar jar包名 全路径类名
--示例:
hadoop jar wordcount.jar com.xxxxx.gy.WordCountJob
成功示意图:
……
这里如果报错可能是jar包中的类书写错误
或类中文件格式错误
导入本地源码包
解压源码包并移到自选位置
eclipse中
Ctrl + 要查看的且没有的源码
选择额外文件夹
测试成功