Hadoop之Java操作HDFS

在具体操作之前需要先明确一下开发环境，代码编辑器使用idea，当然了eclipse也可以
这里使用的是idea 2021.2.2版本 2020版本的进行后续的实验时出现问题 更新版本后就好了

在创建项目的时候我们会创建maven项目，使用maven来管理依赖，是比较方便的.

在这里我们使用apache-maven-3.0.5-bin.zip ，当然了，其它版本也可以，没有什么本质的区别

把apache-maven-3.0.5-bin.zip解压到某一个目录下面，
在这里我解压到了D:\Program Files (x86)\apache-maven-3.0.5目录

解压之后，建议修改一下maven的配置文件，把maven仓库的地址修改到其它盘，例如D盘，默认是在C盘的用户目录下

修改D:\Program Files (x86)\apache-maven-3.0.5\conf下的settings.xml文件
将localRepository标签从注释中移出来，然后将值改为D:.m2，效果如下：
这里的目录名字可以随意起，只要易于识别就可以

<localRepository>D:\.m2</localRepository>

• 这样修改之后，maven管理的依赖jar包都会保存到D:.m2目录下了。
• 接下来需要配置maven的环境变量，和windows中配置JAVA_HOME环境变量是一样的。
• 先在环境变量中配置M2_HOME=D:\Program Files (x86)\apache-maven-3.0.5
• 然后在PATH环境变量中添加%M2_HOME%\bin即可
• 环境变量配置完毕以后，打开cmd窗口，输入mvn命令，只要能正常执行就说明windows本地的maven环境配置好了。
• 这还没完，还需要在idea中指定我们本地的maven配置
• 点击idea左上角的File–>Settings，进入如下界面，搜索maven，把本地的maven添加到这里面即可

创建一个maven项目
注意：项目创建好以后，在新打开的界面中需要点击右小角的Enable Auto Import，这样添加到maven依赖会自动引入，否则会发现引入依赖了，但是代码中还是识别不了，这个时候还需要手动引入，比较麻烦。

在这里我们需要引入hadoop-client依赖包，到maven仓库中去找，添加到pom.xml文件中

<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-client</artifactId>
	<version>3.3.2</version>
</dependency>

然后创建代码
####上传 下载 删除文件

package com.helloworld;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
/**
 * java操作HDFS
 * 文件操作：上传 下载 删除
 * CREATE BY DA
 */
public class HelloWorld {
    public static void main(String[] args) throws Exception{
        //创建一个配置对象
        Configuration conf = new
                Configuration();
        //指定HDFS的地址
        conf.set("fs.defaultFS","hdfs://192.168.10.130:9000");
        //获取操作HDFS的对象
        FileSystem fileSystem = FileSystem.get(conf);
        //上传文件
        put(fileSystem);
        //下载文件
        //get(fileSystem);
        //删除文件
        //delete(fileSystem);
    }
    /**
     * 删除文件或者目录
     * @param fileSystem
     * @throws IOException
     */
    private static void delete(FileSystem fileSystem) throws IOException {
        //如果要递归删除目录，则第二个参数需要设置为true
        //如果删除的是文件或者空目录，第二个参数会被忽略
        boolean flag = fileSystem.delete(new Path("/LICENSE.txt"), true);
        if (flag){
            System.out.println("删除成功！");
        }
        else
        {
            System.out.println("删除失败！");
        }
    }
    /**
     * 上传文件
     * @param fileSystem
     * @throws IOException
     */
    private static void get(FileSystem fileSystem) throws IOException {
        //获取HDFS文件系统中的输入流
        FSDataInputStream fis = fileSystem.open(new Path("/README.txt"));
        //获取本地文件的输出流
        FileOutputStream fos = new FileOutputStream("D:\\README.txt");
        //下载文件
        IOUtils.copyBytes(fis, fos, 1024,true);
    }
    /**
     *下载文件
     * @param fileSystem
     * @throws IOException
     */
    private static void put(FileSystem fileSystem) throws IOException {
        //获取本地文件的输入流
        FileInputStream fis = new FileInputStream("D:\\user1.txt");
        //获取HDFS文件系统的输出流
        FSDataOutputStream fos = fileSystem.create(new Path("/user1.txt"));
        //上传文件，通过工具类把输入流拷贝到输出流里面，实现本地文件上传到HDFS
        IOUtils.copyBytes(fis, fos, 1024, true);
    }
}

我们在执行代码的时候会发现输出了很多红色的警告信息，虽然不影响代码执行，但是看起来很碍眼
下面是解决问题的途径
通过分析错误信息发现第一个是缺少log4j的实现类，第二个是缺少log4j的配置文件

1：pom.xml中增加log4j依赖

<dependency>
	<groupId>org.slf4j</groupId>
	<artifactId>slf4j-api</artifackId>
	<version>1.7.10</version>
</dependency>
<dependency>
	<groupId>org.slf4j</grouoId>
	<aryifactId>slf4j-log4j12</artifactId>
	<version>1.7.10</version>
</dependency>

2：resources目录下添加log4j.properties文件
在项目的src\main\resources目录中添加log4j.properties
log4j.properties文件内容如下：

log4j.rootLogger=info,stdout
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c] [%p] - %m%n

再执行代码，发现就不会有那些红色的警告信息了。