(一)首先用maven生成一个项目
mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes
-DgroupId=com.second.mr
-DartifactId=MRSecond
-DpackageName=com.second.mr
-Dversion=1.0-SNAPSHOT
-DinteractiveMode=false
其中:
1)archetype:generate 快速勾勒出项目骨架
2)-DarchetypeGroupId 指定archetype插件所属的groupid
3)-DgroupId 指定要创建项目的groupId,根据自己项目情况做相应修改
4)-DartifactId 指定要创建的构建ID
5)-DpackageName 指定包名
6)-Dversion 标明版本号
7)-DinteractiveMode 表示是否使用交互模式
(二)使用Eclipse导入maven项目(要确保先安装maven插件)
(三)找到maven的settings.xml,加入cloudera库
<profile>
<id>cdh</id>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
</snapshots>
</repository>
</profile>
(四)修改pom.xml,加入hadoop依赖,这里我为了简单,使用的是hadoop-mapreduce-examples-2.6.0.jar中的pom文件
(五)然后进入当前目录下生成的MRSecond目录中,并使用mvn clean install,这表示将指定的jar包安装到maven本地仓库中
(六)将Hadoop的core-site.xml、hdfs-site.xml、mapred-site.xml拷贝至src/main/resource中
(七)写入WordCount类
(八)Ecliple使用MR插件,直接将hadoop-eclipse-plugin-2.6.0.jar放进Eclipse的plugins目录,重启Ecliple即可
(九)打开Eclipse的MR界面,在open view中选择MR即可
(十)在WordCount类中直接run即可,或者打包出来放到hadoop环境中运行