maven引入hadoop_使用Maven搭建Hadoop开发环境

关于Maven的使用就不再啰嗦了，网上很多，并且这么多年变化也不大，这里仅介绍怎么搭建Hadoop的开发环境。

1. 首先创建工程

复制代码 代码如下:

mvn archetype:generate -DgroupId=my.hadoopstudy -DartifactId=hadoopstudy -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false

2. 然后在pom.xml文件里添加hadoop的依赖包hadoop-common, hadoop-client, hadoop-hdfs，添加后的pom.xml文件如下

?

3. 测试

3.1 首先我们可以测试一下hdfs的开发，这里假定使用上一篇Hadoop文章中的hadoop集群，类代码如下

?

3.2 测试MapReduce作业

测试代码比较简单，如下：

?

运行“mvn package”命令产生jar包hadoopstudy-1.0-SNAPSHOT.jar，并将jar文件复制到hadoop安装目录下

这里假定我们需要分析几个日志文件中的Event信息来统计各种Event个数，所以创建一下目录和文件

/tmp/input/event.log.1

/tmp/input/event.log.2

/tmp/input/event.log.3

因为这里只是要做一个列子，所以每个文件内容可以都一样，假如内容如下

JOB_NEW ...

JOB_NEW ...

JOB_FINISH ...

JO