MapReduce实例编程之求平均数(不用eclipse插件详解)

本文介绍了在没有使用eclipse插件的情况下,如何手动导入hadoop的jar包到eclipse项目中,详细讲解了MapReduce程序的编写过程,包括map、reduce函数的实现,用于计算平均数。此外,还提供了打包成jar文件并在hadoop集群上运行的步骤。在实践中遇到的困难和解决办法也一并分享。
摘要由CSDN通过智能技术生成

由于本人的环境有点问题,无法正常使用hadoop的eclipse的插件,所以在导入jar包到eclipse的过程中遇到了很多坑,这里想给大家分享一下经验,让跟我同样境遇的人少踩坑,以快速上手自己的第一个MapReduce程序。

一、导入hadoop的jar包到eclipse中

1、新建java project(这个很容易,就不赘述了)

2、准入导入jar包:右击新建的项目,点Build Path,再点Configure Build Path。

3、找到libraries:点击Add External JARs,找到所在的目录,进入share->hadoop目录

4、导入的jar包:common目录下的hadoop-common-2.9.1.jar(根据自己的版本来)、MapReduce目录下的所有jar包、yarn目录下的所有jar包、tools目录的子目录lib中的所有jar包。

到这里,第一步导入jar包就结束了

二、开始编写代码

代码一共分三部分,主函数,重写map函数,重写reduce函数

实现思路:首先在map中读取数据并进行切割,定义一个递增的数字作key,切下来的数字作为value.在reduce中遍历value,

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值