maven构建hadoop项目

在eclipse中用maven构建hadoop项目，能够非常方便的下载hadoop所依赖的jar包，而不需要自己一个个导入。

1.  安装maven （略过）

2.  eclipse中配置maven （略过）

3.  创建maven项目

New -》 other -》 Maven -》 Maven project   点击next

勾选 use default workspace location  点击 next

选择 all catalogs  ->  group id现在org.apache.maven.archetypes    artifact id选择maven-archetype-quickstart  点击next

填写groupid 和 artifac id   点击finish

4.  创建完毕后，打开pom.xml , 在 dependencies节点下增加：

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-core</artifactId>
      <version>1.1.2</version>
    </dependency>

保存并刷新项目，可以看到已经在下载hadoop的jar包了

5.  修改hadoop配置文件

core-site.xml

hdfs-site.xml

mapred-site.xml

6.  接下来就可以开发mapred程序了

 

注意：在windows下开发完后并运行，会出现权限的问题，需要修改hadoop-core的源码。

解决方法是，修改/hadoop/src/core/org/apache/hadoop/fs/FileUtil.java文件

688-692行注释，然后重新编译源代码，重新打一个hadoop.jar的包。