Hadoop 之 HDFS 的API操作 07

客户端环境准备

• 1.下载Windows依赖文件

下载地址：项目概览 - apache-hadoop-3.1.0-winutils - GitCode

        解压替换掉bin文件夹

• 2.配置环境变量

• 3.IDEA创建MAVEN工程

• 添加依赖

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.3</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.30</version>
        </dependency>

• 在 src\main\resources 路径下创建 log4j.properties

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

package com.kane.hdfs;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * 客户端代码
 * 1、获取一个客户端对象
 * 2、执行相关操作命令
 * 3、关闭资源
 * HDFS、zookeeper
 */
public class HdfsClient {

    private FileSystem fs;

    @Before // 代码执行前初始化准备操作
    public void init() throws URISyntaxException, IOException, InterruptedException {
        // 连接集群 NameNode 地址
        URI uri = new URI("hdfs://192.168.10.102:8020");
        // 创建一个配置文件
        Configuration configuration = new Configuration();
        // 用户
        String user = "kane";
        // 1.获取客户端对象
        fs = FileSystem.get(uri, configuration, user);
    }

    @After // 代码执行后关闭资源操作
    public void close() throws IOException {
        // 3.关闭资源
        fs.close();
    }

    @Test
    public void testmkdier() throws IOException {
        // 2.创建一个文件夹
        fs.mkdirs(new Path("/kane/zhenzhen"));
    }
}

        基础工程准备完毕

HDFS 的API案例实操

• HDFS 文件上传（测试参数优先级）

    // 上传
    @Test
    public void testPut() throws IOException {
        /*
        参数解读：参数一：表示是否删除原数据
                 参数二：表示是否允许覆盖
                 参数三：表示原数据路径
                 参数四：表示目的地路径
         */
        fs.copyFromLocalFile(false,false,new Path("E:\\kane.txt"),
                new Path("hdfs://192.168.10.102/kane/zhenzhen"));
    }

测试replication参数优先级

• HDFS 文件下载

    // 文件下载
    @Test
    public void testGet() throws IOException {
        /*
        参数解读：参数一：表示原文件是否删除
                 参数二：表示源文件路径 HDFS
                 参数三：表示目的地地址路径
                 参数四：表示是否开启crc校验
         */
        fs.copyToLocalFile(false, new Path("hdfs://192.168.10.102/kane/zhenzhen"),
                new Path("E:\\"), false);
    }

        .crc文件是一种校验数据的方式，在传输的过程中文件可能会发生错误丢失数据，在传输前会把数据加密生成crc校验码，当传输过来的数据再次加密生成crc校验码，进行比对是否相同，如果不相同说明数据有发生变化。

• HDFS 文件删除

    // 文件删除
    @Test
    public void testRm() throws IOException {
        /*
        参数解读：参数一：表示要删除的路径
                 参数二：表示是否递归删除
         */
        // 删除文件
        fs.delete(new Path("/jdk-8u391-linux-x64.tar.gz"), false);

        // 删除空目录
        fs.delete(new Path("/西南地区"), false);

        // 删除非目录
        fs.delete(new Path("/华南地区"), true);
    }

• HDFS 文件的更名和移动

    // 文件的更名和移动
    @Test
    public void testMv() throws IOException {
        /*
        参数解读：参数一：表示原文件路径
                 参数二：表示目标文件路径
         */
        // 对文件名称的修改
        fs.rename(new Path("/kane/zhenzhen/kane.txt"), new Path("/kane/zhenzhen/keke.txt"));

        // 对文件的更名和移动
        fs.rename(new Path("/kane/zhenzhen/keke.txt"), new Path("/kane/huhu.txt"));

        // 目录更名
        fs.rename(new Path("/kane"), new Path("/huahua"));
    }

• HDFS 文件详情查看

    // 获取文件详情信息
    @Test
    public void testFileDetail() throws IOException {
        RemoteIterator<LocatedFileStatus> files = fs.listFiles(new Path("/"), true);
        while (files.hasNext()) {
            LocatedFileStatus next = files.next();
            System.out.println("--------------" + next.getPath() + "--------------");
            System.out.println(next.getPermission());
            System.out.println(next.getOwner());
            System.out.println(next.getGroup());
            System.out.println(next.getLen());
            System.out.println(next.getModificationTime());
            System.out.println(next.getReplication());
            System.out.println(next.getBlockSize());
            System.out.println(next.getPath().getName());
            // 获取块信息
            BlockLocation[] blockLocations = next.getBlockLocations();
            System.out.println(Arrays.toString(blockLocations));
        }

• HDFS 文件和文件夹判断

    // 判断文件夹还是文件
    @Test
    public void testFile() throws IOException {
        FileStatus[] fileStatuses = fs.listStatus(new Path("/huahua"));
        for (FileStatus status : fileStatuses) {
            if (status.isFile()) {
                System.out.println("这是文件-->" + status.getPath().getName());
            } else {
                System.out.println("这是目录-->" + status.getPath().getName());
            }
        }
    }