由于本人的环境有点问题,无法正常使用hadoop的eclipse的插件,所以在导入jar包到eclipse的过程中遇到了很多坑,这里想给大家分享一下经验,让跟我同样境遇的人少踩坑,以快速上手自己的第一个MapReduce程序。
一、导入hadoop的jar包到eclipse中
1、新建java project(这个很容易,就不赘述了)
2、准入导入jar包:右击新建的项目,点Build Path,再点Configure Build Path。
3、找到libraries:点击Add External JARs,找到所在的目录,进入share->hadoop目录
4、导入的jar包:common目录下的hadoop-common-2.9.1.jar(根据自己的版本来)、MapReduce目录下的所有jar包、yarn目录下的所有jar包、tools目录的子目录lib中的所有jar包。
到这里,第一步导入jar包就结束了
二、开始编写代码
代码一共分三部分,主函数,重写map函数,重写reduce函数
实现思路:首先在map中读取数据并进行切割,定义一个递增的数字作key,切下来的数字作为value.在reduce中遍历value,