Hadoop——使用idea+maven开发Hadoop项目入门

我们这里使用windows系统作为开发系统

首先保证已在Linux中正确开启Hadoop集群，然后要在windows的环境变量里新加一个变量HADOOP_USER_NAME，值为集群里开启Hadoop服务的账户，笔者在服务器中用root用户使用的start-dfs.sh，所以这里的值为root。

然后我们将Hadoop的两个配置文件core-site.xml和hdfs-site.xml传输到windows本地。

打开idea，新建一个Maven项目，将以下两个依赖导入pom.xml，具体版本号根据读者集群的Hadoop而定。

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.5</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.6.5</version>
        </dependency>

再将刚才的两个配置文件黏贴进resources文件夹中，一个Hadoop项目就被我们搭建完成了。

下述代码说明了如何简单操作HDFS

package com.msb.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration