InteillJ IDEA 运行HDFS客户端程序

开发环境：InteillJ IDEA 2020.3(Community Version)

WINDOWS 10

 

第一步：假设你的集群已经运行了，在 https://{你的集群本地IP}:50070. 可以正常访问。

第二步：打开InteillJ，新建一个Maven项目。并指定JDK版本，处于版本兼容性考虑，我选的是1.8.在src/main/java目录下创建一个包，名字随意，再创建一个类HDFSClient.java进行简单的文件路径创建。内容如下：

package com.durant.hadoop;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.jupiter.api.Test;

//-DHADOOP_USER_NAME=cephuser
public class HDFSClient {
    public static void main(String args[]) throws IOException, URISyntaxException, InterruptedException {
        Configuration conf = new Configuration();
		//1. 获取hdfs客户端对象
		FileSystem fs = FileSystem.get(new URI("hdfs://{集群namenode Ip}:9000"),conf,"{nodeManager用户名}");
        //2.在hdfs上创建路径
        fs.mkdirs(new Path("/HDFSClient/newFolder/"));
        //3. 关闭文件夹
        fs.close();
        System.out.println("Path Created!");
    }

}

第三步：配置pom

内容如下（InteillJ 会自动下载）,其中hadoop版本是要自己根据实际情况修改的：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.durant.hadoop</groupId>
    <artifactId>Hadoop</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>jar</packaging>

    <name>Hadoop</name>
    <url>http://maven.apache.org</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <hadoop.version>2.10.1</hadoop.version> <!-- 修改 -->
    </properties>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13.2</version>
            <scope>test</scope>
        </dependency>

        <!-- hadoop start -->

        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.10.1</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.10.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.junit.jupiter</groupId>
            <artifactId>junit-jupiter</artifactId>
            <version> 5.7.1</version>
            <scope>compile</scope>
        </dependency>
        <!-- hadoop end -->

    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.codehaus.mojo</groupId>
                <artifactId>exec-maven-plugin</artifactId>
                <version>1.6.0</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>java</goal>
                        </goals>
                    </execution>
                </executions>
                <configuration>
                    <classpathScope>test</classpathScope>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

笔者开始遇到的问题是：Failed to execute goal org.codehaus.mojo:exec-maven-plugin:3.0.0:exec (default-cli) on project Hadoop: Command execution failed.

度娘说是要换InteillJ版本到2017，下了2017.3试了一下还是不行。

解决方案，在pom把这个plugin给build，添加如下代码：

<build>
   <plugins>
       <plugin>
           <groupId>org.codehaus.mojo</groupId>
           <artifactId>exec-maven-plugin</artifactId>
           <version>1.6.0</version>
           <executions>
               <execution>
                   <goals>
                       <goal>java</goal>
                   </goals>
               </execution>
           </executions>
           <configuration>
               <classpathScope>test</classpathScope>
           </configuration>
       </plugin>
   </plugins>
</build>

第四步：在hadoop\etc\hadoop下将core-site.xml等四个文件夹拷入项目resources目录（是自动生成的）。

log4j.rootLogger=INFO,stdout

### 输出信息到控制抬 ###
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
#log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} method:%l%n%m%n

log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout
log4j.appender.logfile.ConversionPattern== [%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} method:%l%n%m%n

第五步：

• project上右键Open Module Settings->Modules->Dependency ,点击加号，将`%{HADOOP_HOME}/share/hadoop/ 的 mapreduce,hdfs,common,yarn等目录导入。

• 选择artifacts，如果没有任何内容，点击+号，jar->from modules with dependencies

• 配置name，MainClass。点击OK。

 

第六步：

Settings->Maven->Runner将Delegate IDE build/run actions to Maven勾选上，意思是委任Maven来build和run。

第七步，我们进行运行前准备Edit Run Configuration，将要运行的类填入即可。

第八步：点击Build再点击Run。查看运行结果

如果没有问题的话,RUN窗口打印出:

[INFO] Scanning for projects...
[INFO] 
[INFO] ---------------------------< com.mv:Hadoop >----------------------------
[INFO] Building Hadoop 0.0.1-SNAPSHOT
[INFO] --------------------------------[ jar ]---------------------------------
[INFO] 
[INFO] --- exec-maven-plugin:1.6.0:exec (default-cli) @ Hadoop ---
Path Created!
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  2.346 s
[INFO] Finished at: 2021-04-06T16:32:04+08:00
[INFO] ------------------------------------------------------------------------

Process finished with exit code 0

在浏览器输入集群{namenode Ip}:50070 . 查看50070端口（Utilities->Browse Directory）：

你也可以通过修改c:/windows/system32/drivers/etc主机映射来避免输入IP地址。 

发现成功创建目录。欧耶！

参数优先级：

代码 > resource中的配置>集群中./etc/hadoop/中配置>默认配置