16 Java API操作HDFS

       我们在windows平台下，使用Java代码作为客户端访问HDFS，对他进行相关的操作。

1.使用idea创建maven项目（一定要连接外网，maven需要下载相应的jar文件到D:\\maven_jar目录下）

（1）打开idea.选择新建项目

（2）设置项目名，存储路径以及包名 

（3）项目创建成功，等待插件下载，大约需要几分钟时间，下图描述的项目结构

2.在pom.xml文件中添加依赖（注意：初次使用需要连接外网，需要下载对应的依赖文件）

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.1.4</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.30</version>
    </dependency>
</dependencies>

如果保存文件后未自动下，可以点击idea右边的Maven

3.在resource文件夹下创建日志文件log4j.properties

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=D:\\hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4.选择main/java下的包名com.maidu包新建java类

给定类名

5.使用Java操作HDFS完成目录的创建（集群是开启的，必须正常使用）

下图的页面是正常访问的，才能通过Java操作

@Test
public void testMkDirs() throws Exception {
    // 1 获取文件系统
    Configuration configuration = new Configuration();
    // FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:8020"), configuration);
    //URI --》获取nameNode地址  8020内部通讯端口
    FileSystem fs = FileSystem.get(new URI("hdfs://master:8020"),
            configuration, "yt");
    // 2 创建目录
    fs.mkdirs(new Path("/maidu/md01/"));
    // 3 关闭资源
    fs.close();
}

运行时一定要选择方法名，右击 运行

6.实现文件上传，设置创建的副本数

在resouces目录下创建hdfs-site.xml文件

hadoop集群中默认的副本是3，接下来代码中设置副本数为2，执行以下代码，看看最终副本数是多少？

参数的优先级：1.客户端的代码中 >  2.ClassPath下自定义的文件> 3.服务器中自定义的（集群中）

7.文件的下载

8.文件的更名和移动

9.删除文件和目录

10.文件详情查看（文件名，权限，长度，块信息）

11.文件和文件夹的判断