win10 IDEA开发hdfs客户端环境配置

1.下载与集群上版本号相同的hadoop压缩包
解压 然后配置环境变量
HADOOP_HOME 解压目录
Path中添加 %HADOOP_HOME%\bin
测试 hadoop version 出现hadoop版本
2.在bin目录下添加windows环境下的依赖
下载链接 https://pan.baidu.com/s/1ahSpPoBSLsouUNkKHQHSSg 密码：hre7
复制如下文件在bin目录下 避免冲突再将hadoop.dll文件复制到C:/WINDOW/SYSTEM32下面

3.建立maven项目 打开pom.xml 引入如下依赖

<dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
<dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>${hadoop.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>${hadoop.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>${hadoop.version}</version>
    </dependency>
    <dependency>
      <groupId>jdk.tools</groupId>
      <artifactId>jdk.tools</artifactId>
      <version>1.8</version>
      <scope>system</scope>
      <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    </dependency>

4.引入core-site.xml和hdfs-site.xml 在resource资源文件夹下
上诉两个文件在集群hadoop目录下etc中存放 可以通过ssh连接 进入目录下 用cat命令查看xml文件 总之复制即可。
5.在单元测试中编写测试类
三步配置

conf.set("fs.defaultFS","hdfs://集群ip地址:9000"); //hadoop配置 远程 就修改master为IP地址  同理 core-site.xml也需要修改
System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.2"); //配合环境变量 读取windows的配置工具
System.setProperty("HADOOP_USER_NAME","集群用户名"); //权限 否则默认windows用户

6.编写相应功能测试
eg:create file

    @Test
    public void testCreateFile()
    {
         Configuration conf=new  Configuration();
         FileSystem fs=null;
        try {
            conf.set("fs.defaultFS","hdfs://集群ip地址:9000");//hadoop配置 远程 就修改master为IP地址
            System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.2"); //配合环境变量 读取windows的配置工具
            System.getProperties().put("HADOOP_USER_NAME","hadoop"); //权限

            fs=FileSystem.get(conf);
            fs.create(new Path("/dfsExplorerTest"));
            fs.close();
        } catch (IOException e) {
            log.error("初始化FileSystem失败！",e);
        }

    }

效果图: