2.2 WordCount项目

本文详细介绍了如何在Java项目中配置Hadoop库,设置MapReduce任务,并在Linux环境下执行。包括构建路径、配置文件获取、job对象实例化、mapper与reducer设置,以及在Linux服务器上运行jar包的全过程。
摘要由CSDN通过智能技术生成

Java端

项目右键Build Path → Configure Build Path → Librarys → Add Library → User Library → hadoop-lib121

  • 获取配置文件
    从yarn虚拟机中拷贝4个配置文件
    在这里插入图片描述
  • 实例化job对象
  • 设置job的主类
  • 设置job的名称
  • 设置Job的reduce数量
  • 设置job的mapper输出key和value的类型
  • 设置job的mapper
    • ? extends Mapper <key–偏移量,value–这一行数据,outputkey–输出的key类型,outputvalue–输出的value类型>
      • map(key,value,context)
  • 设置job的reducer
    • ? extends Reducer<key–map.key,value–map.value,outputkey–输出到hdfs的key,outputvalue–输出到hdfs的value>
      • reduce(key,iterable,context)
  • 提交任务,等待任务完成


项目压缩jar包

选中要进行打包的Java项目,右键 → 选中 " Export " 选项
在这里插入图片描述
选择java → JAR file
在这里插入图片描述
在这里插入图片描述
选择生成位置
在这里插入图片描述
在这里插入图片描述
Finish
在这里插入图片描述

Linux 端

将其上传到Linux服务器上

Linux执行jar包命令

--语法:
hadoop jar jar包名 全路径类名

--示例:
hadoop jar wordcount.jar com.xxxxx.gy.WordCountJob

成功示意图:
在这里插入图片描述
……
这里如果报错可能是jar包中的类书写错误
或类中文件格式错误



导入本地源码包

解压源码包并移到自选位置
eclipse中
Ctrl + 要查看的且没有的源码
在这里插入图片描述
选择额外文件夹
在这里插入图片描述
在这里插入图片描述
测试成功
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值