HDFS 常见API使用及编程

最新推荐文章于 2024-02-18 11:29:52 发布
最新推荐文章于 2024-02-18 11:29:52 发布
阅读量278 收藏 2
点赞数
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41301707/article/details/110430709
版权

                                 HDFS 常见API使用及编程

 

1 pom 文件增加依赖

<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.6.0-cdh5.16.2</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
        <scope>test</scope>
    </dependency>
</dependencies>

2 调用HDFS API

2.1 创建文件夹

package com.xk.bigdata.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.net.URI;

public class HDFSAPITest {

    FileSystem fileSystem = null;

    @Before
    public void setUp() throws Exception {
        Configuration conf = new Configuration();
        conf.set("dfs.replication", "1");
        URI uri = new URI("hdfs://bigdatatest02:8020");
        fileSystem = FileSystem.get(uri, conf, "hdfs");
    }

    @After
    public void cleanUp() throws Exception {
        if (null != fileSystem) fileSystem.close();
    }

    @Test
    public void mkdir() throws Exception {
        boolean res = fileSystem.mkdirs(new Path("/demo"));
        System.out.println(res);
    }

}

等效于 hadoop fs -mkdir / hdfs dfs -mkdir

 

2.2 从本地文件上传到HDFS

2.2.1 使用HDFS API

package com.xk.bigdata.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.net.URI;

public class HDFSAPITest {

    FileSystem fileSystem = null;

    @Before
    public void setUp() throws Exception {
        Configuration conf = new Configuration();
        conf.set("dfs.replication", "1");
        URI uri = new URI("hdfs://bigdatatest02:8020");
        fileSystem = FileSystem.get(uri, conf, "hdfs");
    }

    @After
    public void cleanUp() throws Exception {
        if (null != fileSystem) fileSystem.close();
    }

    @Test
    public void copyFromLocalFile() throws Exception{
        // 文件地址
        Path src = new Path("E:\\workspace\\java\\hadoop-project\\hdfs-basic\\data\\demo.txt");
        // 目标地址
        Path dst = new Path("/demo/demo.txt");
        fileSystem.copyFromLocalFile(src,dst);
    }
}

2.2.2 使用IO流来上传文件

 

package com.xk.bigdata.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.net.URI;

public class HDFSAPITest {

    FileSystem fileSystem = null;

    @Before
    public void setUp() throws Exception {
        Configuration conf = new Configuration();
        conf.set("dfs.replication", "1");
        URI uri = new URI("hdfs://bigdatatest02:8020");
        fileSystem = FileSystem.get(uri, conf, "hdfs");
    }

    @After
    public void cleanUp() throws Exception {
        if (null != fileSystem) fileSystem.close();
    }
    
    @Test
    public void copyFromLocalFileByIo() throws Exception {
        FSDataOutputStream outputStream = fileSystem.create(new Path("/demo/demo2.txt"), true);
        BufferedInputStream inputStream = new BufferedInputStream(new FileInputStream(new File("E:\\workspace\\java\\hadoop-project\\hdfs-basic\\data\\demo.txt")));
        IOUtils.copyBytes(inputStream, outputStream, 2048);
        IOUtils.closeStream(outputStream);
        IOUtils.closeStream(inputStream);
    }
}

 

等效于 hadoop fs -put /hdfs dfs -put

 

2.3 从HDFS上面下载文件

2.3.1 使用HDFS API

package com.xk.bigdata.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.net.URI;

public class HDFSAPITest {

    FileSystem fileSystem = null;

    @Before
    public void setUp() throws Exception {
        Configuration conf = new Configuration();
        conf.set("dfs.replication", "1");
        URI uri = new URI("hdfs://bigdatatest02:8020");
        fileSystem = FileSystem.get(uri, conf, "hdfs");
    }

    @After
    public void cleanUp() throws Exception {
        if (null != fileSystem) fileSystem.close();
    }

    @Test
    public void copyToLocalFile() throws Exception {
        // HDFS路径
        Path src = new Path("/demo/demo.txt");
        // 本地路径
        Path dst = new Path("E:\\workspace\\java\\hadoop-project\\hdfs-basic\\data\\demo1.txt");
        fileSystem.copyToLocalFile(src, dst);
    }
}

 

2.3.2 使用IO流

package com.xk.bigdata.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.*;
import java.net.URI;

public class HDFSAPITest {

    FileSystem fileSystem = null;

    @Before
    public void setUp() throws Exception {
        Configuration conf = new Configuration();
        conf.set("dfs.replication", "1");
        URI uri = new URI("hdfs://bigdatatest02:8020");
        fileSystem = FileSystem.get(uri, conf, "hdfs");
    }

    @After
    public void cleanUp() throws Exception {
        if (null != fileSystem) fileSystem.close();
    }
    
    @Test
    public void copyToLocalFileByIo() throws Exception {
        FSDataInputStream inputStream = fileSystem.open(new Path("/demo/demo1.txt"));
        BufferedOutputStream outputStream = new BufferedOutputStream(new FileOutputStream(new File("E:\\workspace\\java\\hadoop-project\\hdfs-basic\\data\\demo2.txt")));
        IOUtils.copyBytes(inputStream, outputStream, 2048);
        IOUtils.closeStream(inputStream);
        IOUtils.closeStream(outputStream);
    }
}

等效于 hadoop fs -get/hdfs dfs -get

 

2.4 修改HDFS上面的文件名称

package com.xk.bigdata.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.net.URI;

public class HDFSAPITest {

    FileSystem fileSystem = null;

    @Before
    public void setUp() throws Exception {
        Configuration conf = new Configuration();
        conf.set("dfs.replication", "1");
        URI uri = new URI("hdfs://bigdatatest02:8020");
        fileSystem = FileSystem.get(uri, conf, "hdfs");
    }

    @After
    public void cleanUp() throws Exception {
        if (null != fileSystem) fileSystem.close();
    }

    @Test
    public void reName() throws Exception {
        // 原文件路径
        Path src = new Path("/demo/demo.txt");
        // 新文件路径
        Path dst = new Path("/demo/demo1.txt");
        boolean res = fileSystem.rename(src, dst);
        System.out.println(res);
    }

等效于 hadoop fs -mv / hdfs dfs -mv

 

2.5 列出文件列表

package com.xk.bigdata.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.*;
import java.net.URI;

public class HDFSAPITest {

    FileSystem fileSystem = null;

    @Before
    public void setUp() throws Exception {
        Configuration conf = new Configuration();
        conf.set("dfs.replication", "1");
        URI uri = new URI("hdfs://bigdatatest02:8020");
        fileSystem = FileSystem.get(uri, conf, "hdfs");
    }

    @After
    public void cleanUp() throws Exception {
        if (null != fileSystem) fileSystem.close();
    }
 
    @Test
    public void listFiles() throws Exception {
        /**
         * Path f : 路径
         * boolean recursive ： 是否递归
         */
        RemoteIterator<LocatedFileStatus> files = fileSystem.listFiles(new Path("/demo"), true);
        while (files.hasNext()) {
            LocatedFileStatus file = files.next();
            String path = file.getPath().toString().trim();
            String isdic = file.isDirectory() ? "文件夹" : "文件";
            String owner = file.getOwner();
            System.out.println(isdic + "\t" + path + "\t" + owner);
            // 得到该文件的副本地址
            BlockLocation[] blockLocations = file.getBlockLocations();
            for (BlockLocation blockLocation : blockLocations) {
                // 得到该副本的存储地址
                String[] hosts = blockLocation.getHosts();
                for (String host : hosts) {
                    System.out.println(host);
                }
            }

        }
    }   
}

等效于 hadoop fs -ls / hdfs dfs -ls

 

2.6 删除文件或者文件夹

package com.xk.bigdata.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.*;
import java.net.URI;

public class HDFSAPITest {

    FileSystem fileSystem = null;

    @Before
    public void setUp() throws Exception {
        Configuration conf = new Configuration();
        conf.set("dfs.replication", "1");
        URI uri = new URI("hdfs://bigdatatest02:8020");
        fileSystem = FileSystem.get(uri, conf, "hdfs");
    }

    @After
    public void cleanUp() throws Exception {
        if (null != fileSystem) fileSystem.close();
    }
    
    @Test
    public void delete() throws Exception {
        /**
         * Path f : 删除文件的路径
         * boolean recursive ： 是否递归
         */
        boolean res = fileSystem.delete(new Path("/demo"), true);
        System.out.println(res);
    }
}

HDFS API TEST Code

3 使用HDFS API 案例

3.1 需求

使用HDFS API 封装一个 rich reName 方法

效果：
/bigdata/hdfs-works/20211001
							  /1.txt
							  /2.txt
							  /3.txt
/bigdata/hdfs-works/20211002
							  /1.txt
							  /2.txt
							  /3.txt
==>
/bigdata/hdfs-works/20211001-0.txt
/bigdata/hdfs-works/20211001-1.txt
/bigdata/hdfs-works/20211001-2.txt
/bigdata/hdfs-works/20211002-0.txt
/bigdata/hdfs-works/20211002-1.txt
/bigdata/hdfs-works/20211002-2.txt

3.2 Code

3.2.1 HDFSUtils

package com.xk.bigdata.hadoop.utils;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.net.URI;

public class HDFSUtils {

    FileSystem fileSystem = null;

    /**
     * 文件系统初始化
     */
    public void stepUp() throws Exception {
        Configuration conf = new Configuration();
        conf.set("dfs.replication", "1");
        URI uri = new URI(FinalCode.HDFS_URI);
        fileSystem = FileSystem.get(uri, conf, FinalCode.HDFS_USER_NAME);
    }

    /**
     * 关闭文件系统
     */
    public void cleanUp() throws Exception {
        if (null != fileSystem) {
            fileSystem.close();
        }
    }

    /**
     * 创建文件夹
     *
     * @param path : 需要创建的目录
     */
    public boolean mkdir(String path) throws Exception {
        return fileSystem.mkdirs(new Path(path));
    }

    /**
     * 从本地上传文件
     *
     * @param srcPath ： 文件地址
     * @param dstPath ： 目标地址
     */
    public void copyFromLocalFile(String srcPath, String dstPath) throws Exception {
        // 文件地址
        Path src = new Path(srcPath);
        // 目标地址
        Path dst = new Path(dstPath);
        fileSystem.copyFromLocalFile(src, dst);
    }

    /**
     * 从HDFS下载文件
     *
     * @param srcPath ： 文件地址
     * @param dstPath ： 目标地址
     */
    public void copyToLocalFile(String srcPath, String dstPath) throws Exception {
        // HDFS路径
        Path src = new Path(srcPath);
        // 本地路径
        Path dst = new Path(dstPath);
        fileSystem.copyToLocalFile(src, dst);
    }

    /**
     * 修改名称
     *
     * @param oldPath : 原路径
     * @param newPath ： 新的路径
     */
    public boolean reName(String oldPath, String newPath) throws Exception {
        // 原文件路径
        Path src = new Path(oldPath);
        // 新文件路径
        Path dst = new Path(newPath);
        return fileSystem.rename(src, dst);
    }

    /**
     * 文件列表
     *
     * @param pathString : 路径
     * @param recursive  ： 是否递归
     */
    public RemoteIterator<LocatedFileStatus> listFiles(String pathString, Boolean recursive) throws Exception {
        return fileSystem.listFiles(new Path(pathString), recursive);
    }

    /**
     * 文件列表
     *
     * @param pathString : 路径
     */
    public RemoteIterator<LocatedFileStatus> listFiles(String pathString) throws Exception {
        return fileSystem.listFiles(new Path(pathString), true);
    }

    /**
     * 删除文件或者文件夹
     *
     * @param pathString : 删除文件的路径
     * @param recursive  : 是否递归
     */
    public boolean delete(String pathString, boolean recursive) throws Exception {
        return fileSystem.delete(new Path(pathString), recursive);
    }

    /**
     * 删除文件
     *
     * @param pathString : 删除文件的路径
     */
    public boolean delete(String pathString) throws Exception {
        return fileSystem.delete(new Path(pathString), true);
    }

    /**
     * 判断路径是否存在
     *
     * @param pathString ： 路径
     */
    public boolean isExist(String pathString) throws Exception {
        return fileSystem.exists(new Path(pathString));
    }

}

3.2.2 FinalCode

package com.xk.bigdata.hadoop.utils;

public class FinalCode {

    // HDFS param

    public final static String HDFS_URI = "hdfs://bigdatatest02:8020";

    public final static String HDFS_USER_NAME = "hdfs";
}

3.2.2 HDSFReName

package com.xk.bigdata.hadoop.hdfs;

import com.xk.bigdata.hadoop.utils.HDFSUtils;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.RemoteIterator;

public class HDSFReName {

    /**
     * 1. 通过路径读取下面层级文件的全部路径
     * 2. 修改文件路径
     * 3. 删除原文件夹路径
     */
    public static void reName(String pathString) {
        HDFSUtils hdfsUtils = new HDFSUtils();
        try {
            hdfsUtils.stepUp();
            RemoteIterator<LocatedFileStatus> files = hdfsUtils.listFiles(pathString);
            while (files.hasNext()) {
                LocatedFileStatus file = files.next();
                String filePath = file.getPath().toString();
                String newFilePath = filePath.substring(0, filePath.lastIndexOf("/")) + "-" + filePath.substring(filePath.lastIndexOf("/") + 1);
                boolean res = hdfsUtils.reName(filePath, newFilePath);
                System.out.println(res);
            }
            System.out.println(hdfsUtils.delete(pathString));
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                hdfsUtils.cleanUp();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
    public static void main(String[] args) {
        String pathString = "/bigdata/hdfs-works/20211001";
        reName(pathString);
    }

}

reName 代码连接

XK&RM
关注
专栏目录
集群搭建 - Windows10 系统下运行HDFS【图文】【附源码】
04-20 703
（所有源码均在https://github.com/zongzhec/HadoopPractise） 步骤解说 1. 安装hadoop 2. 创建一个Maven/Gradle工程 3. 导入相应的依赖 <dependencies> <dependency> <groupId>junit</groupId> ...
【hdfs】在win10上使用python访问hdfs操作文件
qq_18239343的博客
03-21 2711
1、环境安装：使用cmd安装hdfs环境，pip installhdfs 2、访问hdfs： from hdfs.client import Client HDFSHOST = "http://192.168.56.101:9870" client = Client(HDFSHOST) # 返回目录下的文件 #print(client.list('/wm/')) # 创建目录 #client.makedirs('/tmp') #print(client.list('/')) # 删除hdfs文件.
HDFS客户端操作（win10）
weixin_38023225的博客
09-10 655
搭建开发环境 1）拷贝编译后的hadoop jar包到非中文路径 hadoop源码编译参考：https://blog.csdn.net/weixin_38023225/article/details/100576751 也可直接下载：https://download.csdn.net/download/weixin_38023225/11692985 2）配置HADOOP_HOME环境变量...
HDFS(一)windows环境搭建
weixin_38420511的博客
03-04 2074
1.资源准备 (1)jdk 版本：1.8 (2).hadoop 版本：2.10.0 下载：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz (3).hadooponwindows-master 下载：https://codeload.github.com/sardetush...
HDFS 单机搭建
王腾飞的博客
07-26 5016
HDFS 单机搭建标签 ： Java hadoop hdfs安装 请点击下载hadoop-2.6.4 解压到 /home/hdfs/hadoop useradd hdfs // 创建hdfs用户 passwd hdfs // 设置hdfs用户的登陆密码 su hdfs // 切换到hdfs用户登陆 cd ~ // 进入hdfs的家目录 rz // 上传windows本地的文件到此家目录 tar -
大数据实验二-HDFS编程实践
最新发布
04-03
### 大数据实验二-HDFS编程实践 #### 实验内容概览 本次实验的主要目标是通过对HDFS（Hadoop Distributed File System）的操作实践，加深学生对HDFS在Hadoop架构中的作用及其基本操作的理解。实验内容包括两大部分...
HDFS中java API操作以及缺乏配置文件的报错
m0_51679196的博客
08-29 1030
HDFS中Java API操作
java hdfs 新建目录_第九讲：通过JavaAPI读写虚拟机里面的HDFS-创建文件夹
weixin_35998980的博客
02-13 1669
本讲我们来讲解如何读写另外一台计算机上面的HDFS。在实际的环境中，我们的HDFS存储和应用程序很有可能是运行在不同的计算机上的。 上一讲我们实现了网络的互通，那么这一讲我们来讲解编写一个java程序来读写hdfs.。步骤：1、确保两台电脑网络互通(上一讲内容)；2、Centos里面的HDFS运行正常(上一讲内容)；3、Centos里面的防火墙开通9000端口(也就是centos里面的hdfs配置...
深入理解HDFS操作指南与Hadoop编程实践
2. HDFS的API使用：如何通过Hadoop提供的Java API来进行HDFS文件的读写操作，包括文件的创建、删除、修改等基本操作。 3. HDFS的高级特性：解释HDFS的高级特性，如快照、配额管理、空间回收机制等。 4. 高级编程模式...
Springboot集成HDFS：API操作与基本步骤详解
本文档主要介绍了如何在Spring Boot项目中使用Apache Hadoop分布式文件系统(HDFS)的API进行操作。首先，创建一个新的Spring Boot项目时，需要在pom.xml文件中添加Hadoop的依赖，以便项目能够与HDFS交互。 HDFS的...
win10搭建redis集群.txt
04-28
作为一名java程序猿，在我们日常开发工作中，经常会用到redis技术，而我们一般都是使用单机版，但是现在云上环境大多使用集群模式，在开发过程中，如果本地不能连内网或云上redis，就不能很好的开发，本资源为win10本地搭建redis集群的全过程，欢迎使用！
基于windows的hadoop集群搭建图文教程 自己写的亲测可以安装
11-17
我自己搭建windows下的hadoop集群，并且图文记录下了安装过程，亲测，没有问题，一步步按着做可以用windows下虚拟机搭建一个hadoop集群
win10 IDEA开发hdfs客户端环境配置
xianzhiyuxue的博客
04-14 1632
1.下载与集群上版本号相同的hadoop压缩包 解压 然后配置环境变量 HADOOP_HOME 解压目录 Path中添加 %HADOOP_HOME%\bin 测试 hadoop version 出现hadoop版本 2.在bin目录下添加windows环境下的依赖 下载链接 https://pan.baidu.com/s/1ahSpPoBSLsouUNkKHQHSSg 密码：hre7 复制如下文...
在windows环境下部署伪分布式Hadoop集群
weixin_44943389的博客
05-04 288
需要注意的是，在windows环境中部署hadoop可能会遇到一些问题，需要在操作过程中仔细阅读日志并根据错误消息进行调试和修复。配置hadoop文件：通过修改core-site.xml、hdfs-site.xml和mapred-site.xml配置文件，设置正确的hadoop路径和数据存储位置。启动hadoop服务：运行start-dfs.cmd和start-yarn.cmd脚本来启动hadoop服务。下载和解压hadoop：下载最新版本的hadoop，并将其解压到本地文件系统中。
window环境搭建hadoop单点集群
羽化飞仙
09-20 599
1.安装需知: a.jdk必须是安装在没有中文没有空格的目录下 b.hadoop-2.6.0.tar.gz是64位的(官网默认是32位) c.下载hadoop的windows工具包hadooponwindows 下载地址:https://github.com/sardetushar/hadooponwindows 2.jdk环境变量和hadoop的环境变量的配置 jdk需加载b
windows下搭建hadoop工程（一）
zmysang的博客
04-12 4623
一、安装文件准备 1：下载好hadoop-1.0.0.tar.gz， 下载地址是https://archive.apache.org/dist/hadoop/core/hadoop-1.0.0/ 2：解压到D:\hadoop\cygwin\zhangmanyi\目录下。二、启动hadoop 1、修改hadoop配置文件，在conf目录下，修改mapred-site.xml、core-site
window10上配置Hadoop
chuixue24的博客
02-18 245
Shell/Hadoop fs/HDFS/dfs的一些相关操作，相当于是在集群内部，跟集群的一些客户端打交道在这里插入图片描述本文目标：希望在Windows环境对远程的集群进行一个客户端访问，于是现在就在Windows环境上写代码，写HDFS客户端代码，远程连接上集群，对它们进行增删改查相关操作。在这里插入图片描述。
windows10 搭建hadoop环境，并且使用hadoop命令
qq_29444571的博客
07-18 1402
windows10 搭建hadoop环境，并且使用hadoop命令
Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学
热门推荐
小袁同学的博客
11-21 3万+
如果还没有配置好Hadoop的可以点击链接查看如何配置 各大技术基础教学、实战开发教学（正在持续更新中······） 首先，启动Hadoop集群服务 然后在浏览器访问Hadoop，点击Browse the file system 查看HDFS文件系统的目录 可以看到目前HDFS文件系统的目录是空的，没有任何的文件和文件夹，下面开始今天的API操作 一、创建Maven项目 首先，打开IDEA，点击新建项目，在左侧中选择Maven，然后直接点击next 设置项目名称，点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值