HDFS的API操作

小唐同学爱学习

已于 2023-03-15 15:24:18 修改

阅读量2.3k

点赞数 13

分类专栏： Hadoop 文章标签： hdfs hadoop 大数据

于 2023-03-15 15:21:57 首次发布

本文链接：https://blog.csdn.net/m0_61469860/article/details/129503124

版权

Hadoop 专栏收录该内容

10 篇文章 4 订阅

订阅专栏

客户端环境准备：

尚硅谷资料包i中的文件复制到非中文路径

添加环境变量：

配置Path环境变量：

验证Hadoop环境变量是否正常。双击winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。再资料包里面有对应的微软运行库安装包双击安装即可

IDEA操作：

新建maven项目工程

让后设置换你的maven库（换成你本机上的阿里，不然有些依赖你是下载不下来的，而且下载慢）

导入maven依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>HDFSClient</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.3</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.30</version>
        </dependency>
    </dependencies>
</project>

在项目的src/main/resources目录（该目录主要放置配置文件，页面文件、静态资源文件）下，新建一个文件，命名为“log4j.properties”，该文件与日志相关，在文件中填入

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建包名：

com.xxx.hdfs

创建HdfsClient类

HDFS的API案例操作：

现在本人已经完成了部分API操作，先描述一下HdfsClient类的分布

因为HDFS的API操作会有很多冗余代码，所以我们对他进行了封装，

封装代码：

封装代码1：

这个代码主要是Java连接集群，获取集群的配置文件，并且获取客户端连接对象，使用注解@Before (不懂注解的可以看我的另一篇文章点击直接跳转，在这不多做解释注解讲解 )便于后续的使用

封装代码2：

这个代码主要用于关闭资源，就是把一个简单的close 进行了封装使用注解 @After 同上不做解释，需要的话跳转另一篇文章

实现操作：

1.创建目录：

使用注解@Test进行测试，调用的还是Linux中的mkdir 让客户端连接对象进行调用（**注意这里客户端连接对象要在类的上方使用private进行定义，方便在下方方法中的调用）

    @Test
    public void testmkdir() throws Exception{


        //此时window与namenode 节点的虚拟机已经连接成功  执行命令，创建文件夹

        fs.mkdirs(new Path("/xiyou"));
    }

2.上传文件

通过客户端远程访问hdfs 上传文件

copyFromLocalFile方法用于上传数据
参数1： 删除原数据  参数2： 是否允许覆盖（原文件存在） 参数3： 原数据路径(本地路径) 参数4：目的地路径

  @Test
    public void testput() throws IOException {
        //参数1： 删除原数据  参数2： 是否允许覆盖（原文件存在） 参数3： 原数据路径(本地路径) 参数4：目的地路径
        fs.copyFromLocalFile(false,true,new Path("D:\\Hadoop3.1.3.txt\\"),new Path("hdfs://hadoop102/xiyou/huaguoshan"));
    }

3.文件下载

hdfs下载到window本地

copyToLocalFile方法用于下载文件
 参数解析    1：原文件是否删除   2.原文件hdfs的路径   3.目标地址路径  4.  false  是开启crc校验    true  是不开启

 @Test
    public void testGet() throws Exception {
        // 参数解析    1：原文件是否删除   2.原文件hdfs的路径   3.目标地址路径  4.  false  是开启crc校验    true  是不开启
           fs.copyToLocalFile(false,new Path("hdfs://hadoop102/jinguo/shuguo.txt"),new Path("D:\\jinchao"),false);
    }

4.文件的删除

delete方法删除文件，当问及那非空的时候必须递归删除

fs.delete(new Path("hdfs://hadoop102/xiyou"),true);

delete删除空目录的时候可以不是递归删除

            fs.delete(new Path("/xiyou"));

整体代码：

  @Test
    public  void testRm() throws Exception {
              // 1. 要删除的路径    2   是否递归路径
    fs.delete(new Path("hdfs://hadoop102/xiyou"),true);
       // 删除空目录   不需要递归
            fs.delete(new Path("/xiyou"));
         //   删除非空目录  必须递归删除
        }

5.文件的移动

文件移动分为很多，根据参数的不同，做出不同的操作，都是调用rename方法

代码注释有详细解释

  @Test
    public void testmv() throws IOException {
            // 对文件的移动   1.原文件路径   2.目标路径
          //  fs.rename(new Path("/jinguo/shuguo.txt"),new Path("/output"));
            // 修改文件的名称
         //   fs.rename(new Path("/output/shuguo.txt"),new Path("/output/reshuguo.txt"));
        //修改名称并且移动位置
          //  fs.rename(new Path("/output/reshuguo.txt"),new Path("/jinguo/shuguo.txt"));
//  目录更名
             fs.rename(new Path("/outputtwo"),new Path("/output2"));

        }

6.查看hdfs上文件详情

查看hdfs上文件详情   比如

文件名称  权限  长度  块信息

@Test
      public void testListFiles() throws IOException {
            //参数   1.需要查看文件的路径    2.是否递归
    //返回迭代器                  递归  相当于栈 后进先出  递归是从底层向上进行遍历  针对的是文件不是目录
        //  fileStatus 返回的是数组
        //listFiles  返回的是迭代器
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
                while(listFiles.hasNext()) {
                    LocatedFileStatus fileStatus = listFiles.next();
                    System.out.println("======"+fileStatus.getPath()+"=====");
                    System.out.println(fileStatus.getPermission());
                    System.out.println(fileStatus.getOwner());
                    System.out.println(fileStatus.getGroup());
                    System.out.println(fileStatus.getLen());
                    System.out.println(fileStatus.getModificationTime());
                    System.out.println(fileStatus.getReplication());
                    System.out.println(fileStatus.getBlockSize());
                    System.out.println(fileStatus.getPath().getName());
                    //查看块的存储信息--（备份）存储在那几个服务器上
                    BlockLocation[] blockLocations = fileStatus.getBlockLocations();
                    System.out.println(Arrays.toString(blockLocations));
                }
    }

调用方法的解释：

先解释参数： 1.需要查看文件的路径 2.是否递归

返回值：返回的形式是迭代器（迭代器是一种设计模式，官方话不多数，说一下自己的理解可能不贴切---个人认为迭代器就像把数据封装成一个数据库一样，包含各种属性，每一条信息就是一个元组）

获取迭代器后就是迭代器的操作了

7.文件和文件夹的判断

文件和文件夹的判断也分为两种，一种是可迭代的，一种是不可迭代的

个人感觉还是使用迭代器进行递归判断操作方便一点

下边有两种一种利用迭代器进行递归判断，一种是非递归判断

  @Test
    public void testFile() throws IOException {

       //可迭代判断
        RemoteIterator<LocatedFileStatus> locatedFileStatusRemoteIterator = fs.listFiles(new Path("/"), true);
        while(locatedFileStatusRemoteIterator.hasNext())
        {
            LocatedFileStatus next = locatedFileStatusRemoteIterator.next();
            if (next.isFile()) {
                System.out.println("这是文件"+next.getPath().getName());
            }
            else
            {
                System.out.println("这是目录"+next.getPath().getName());
            }

        }
        // 不可迭代判断
        //        FileStatus[] fileStatuses = fs.listStatus(new Path("/"));

//        for (FileStatus fileStatus : fileStatuses) {
//            if (fileStatus.isFile()) {       //判断fileStatus是否是文件
//
//                System.out.println("这是文件"+fileStatus.getPath().getName());
//
//            }
//            else
//            {
//                System.out.println("这是目录"+fileStatus.getPath().getName());
//            }

小唐同学爱学习

关注

13
点赞
踩
9

收藏

觉得还不错? 一键收藏
打赏
7
评论
HDFS的API操作

使用注解@Test进行测试，调用的还是Linux中的mkdir 让客户端连接对象进行调用（**注意这里客户端连接对象要在类的上方使用private进行定义，方便在下方方法中的调用）返回值：返回的形式是迭代器（迭代器是一种设计模式，官方话不多数，说一下自己的理解可能不贴切---个人认为迭代器就像把数据封装成一个数据库一样，包含各种属性，每一条信息就是一个元组）文件移动分为很多，根据参数的不同，做出不同的操作，都是调用rename方法。文件和文件夹的判断也分为两种，一种是可迭代的，一种是不可迭代的。
复制链接

扫一扫