Hadoop中HDFS的API操作、HDFS文件上传（测试参数优先级）、copyFromLocalFile参数解读、HDFS文件下载、文件更名和移动、删除文件和目录、文件详情查看、文件和文件夹判断

已于 2022-08-23 10:04:08 修改
阅读量2.3k 收藏 19
点赞数 10
分类专栏： # Hadoop 文章标签： hadoop hdfs 大数据
于 2022-08-17 07:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Redamancy06/article/details/126355017
版权

文章目录

7.HDFS的API操作

7.2HDFS的API案例实操

7.2.1HDFS文件上传（测试参数优先级）

在这里插入图片描述
在这里插入图片描述

package com.summer.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @author Redamancy
 * @create 2022-08-15 17:59
 */


public class HdfsClient {
    private FileSystem fs;
    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        //连接的集群nn地址
        URI uri = new URI("hdfs://hadoop102:8020");
        //创建一个配置文件
        Configuration configuration = new Configuration();
        //用户
        String user = "summer";
        //获取到了客户端对象
        fs = FileSystem.get(uri, configuration,user);
    }
    @After
    public void close() throws IOException {
        //关闭资源
        fs.close();
    }

    @Test
    public void testPut() throws IOException {
        //参数解读：
        // 参数一：表示删除原数据，为true表示上传完文件后，原数据文件将会删除；为false表示上传完文件后，原数据文件将不会删除；
        // 参数二：是否允许覆盖，为true表示不管目的地地址是否有同名的文件都会覆盖；
        // 为false表示目的地地址有同名的文件则报错org.apache.hadoop.fs.PathExistsException: `hdfs://hadoop102/xiyou/huaguoshan/sunwukong.txt': Target hdfs://hadoop102/xiyou/huaguoshan/sunwukong.txt already exists；
        // 参数三：原数据路径Windows；参数四：目的地路径HDFS
        fs.copyFromLocalFile(false,true,new Path("D:\\sunwukong.txt"),new Path("hdfs://hadoop102/xiyou/huaguoshan"));
    }
}
7.2.1.1copyFromLocalFile参数解读
//参数解读：
        // 参数一：表示删除原数据，为true表示上传完文件后，原数据文件将会删除；为false表示上传完文件后，原数据文件将不会删除；
        // 参数二：是否允许覆盖，为true表示不管目的地地址是否有同名的文件都会覆盖；
        // 为false表示目的地地址有同名的文件则报错org.apache.hadoop.fs.PathExistsException: `hdfs://hadoop102/xiyou/huaguoshan/sunwukong.txt': Target hdfs://hadoop102/xiyou/huaguoshan/sunwukong.txt already exists；
        // 参数三：原数据路径Windows；参数四：目的地路径HDFS

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

7.2.1.2副本个数

在这里插入图片描述

为什么这里的副本有三个，因为在下面设置的
在这里插入图片描述
参数优先级：服务器的自定义配置（hdfs-site.xml） >服务器的默认配置（hdfs-default.xml）

7.2.1.3将hdfs-site.xml拷贝到项目的resources资源目录下
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
		<name>dfs.replication</name>
         <value>1</value>
	</property>
</configuration>

在这里插入图片描述

如果创建的文件副本变为了1，则

在这里插入图片描述
在这里插入图片描述

参数优先级：在项目资源目录下的用户自定义配置文件（如在resources下创建的hdfs-site.xml，可以看上面的过程） >服务器的自定义配置（hdfs-site.xml） >服务器的默认配置（hdfs-default.xml）

7.2.1.4客户端代码中设置的值

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
为2，则参数优先级排序：（1）客户端代码中设置的值 >（2）在项目资源目录下的用户自定义配置文件（如在resources下创建的hdfs-site.xml，可以看上面的过程） >（3）服务器的自定义配置（hdfs-site.xml） >（4）服务器的默认配置（hdfs-default.xml）

7.2.2HDFS文件下载

package com.summer.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @author Redamancy
 * @create 2022-08-15 17:59
 */


public class HdfsClient {
    private FileSystem fs;
    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        //连接的集群nn地址
        URI uri = new URI("hdfs://hadoop102:8020");
        //创建一个配置文件
        Configuration configuration = new Configuration();
        configuration.set("dfs.replication","2");
        //用户
        String user = "summer";
        //获取到了客户端对象
        fs = FileSystem.get(uri, configuration,user);
    }
    @After
    public void close() throws IOException {
        //关闭资源
        fs.close();
    }
    @Test
    public void testGet() throws IOException {
        //参数的解读：参数一：原文件是否删除；参数二：原文件路径HDFS；参数三：目标地址路径Windows；参数四：是否要校验CRC
        fs.copyToLocalFile(false,new Path("hdfs://hadoop102/xiyou/huaguoshan"),new Path("D:\\"),false);
    }
}

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
CRC文件是一个校验文件，保证文件传输完整。

注意：如果执行上面代码，下载不了文件，有可能是你电脑的微软支持的运行库少，需要安装一下微软运行库。

7.2.3HDFS文件更名和移动

package com.summer.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @author Redamancy
 * @create 2022-08-15 17:59
 */


public class HdfsClient {
    private FileSystem fs;
    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        //连接的集群nn地址
        URI uri = new URI("hdfs://hadoop102:8020");
        //创建一个配置文件
        Configuration configuration = new Configuration();
        configuration.set("dfs.replication","2");
        //用户
        String user = "summer";
        //获取到了客户端对象
        fs = FileSystem.get(uri, configuration,user);
    }
    @After
    public void close() throws IOException {
        //关闭资源
        fs.close();
    }
    //文件的更名和移动
    @Test
    public void testmv() throws IOException {
        //参数解读:参数一：原文件路径；参数二：目标文件路径
        //对文件名称的修改
        fs.rename(new Path("/testinput/word.txt"),new Path("/testinput/summer.txt"));

        //文件的更名和移动
        fs.rename(new Path("/testinput/summer.txt"),new Path("/after.txt"));
        
		//目录更名
        fs.rename(new Path("/testinput"),new Path("/testoutput"));
    }
}

在这里插入图片描述

7.2.3.1对文件名称的修改

核心代码：

fs.rename(new Path("/testinput/word.txt"),new Path("/testinput/summer.txt"));

在这里插入图片描述

在这里插入图片描述

7.2.3.2文件的更名和移动

核心代码：

 fs.rename(new Path("/testinput/summer.txt"),new Path("/after.txt"));

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.2.3.3目录更名

核心代码：

fs.rename(new Path("/testinput"),new Path("/testoutput"));

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.2.4HDFS删除文件和目录

package com.summer.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @author Redamancy
 * @create 2022-08-15 17:59
 */


public class HdfsClient {
    private FileSystem fs;
    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        //连接的集群nn地址
        URI uri = new URI("hdfs://hadoop102:8020");
        //创建一个配置文件
        Configuration configuration = new Configuration();
        configuration.set("dfs.replication","2");
        //用户
        String user = "summer";
        //获取到了客户端对象
        fs = FileSystem.get(uri, configuration,user);
    }
    @After
    public void close() throws IOException {
        //关闭资源
        fs.close();
    }
    //文件删除
    @Test
    public void testRm() throws IOException {
        //参数解读：参数一：要删除的路径；参数二：是否递归删除
        //删除文件
        fs.delete(new Path("/hadoop-3.1.3.tar.gz"),false);

        //删除空目录
        fs.delete(new Path("/xiyou"),false);
        //删除非空目录
        fs.delete(new Path("/jinguo"),true);
    }
}
7.2.4.1删除文件

核心代码：

fs.delete(new Path("/hadoop-3.1.3.tar.gz"),false);

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

7.2.4.2删除空目录

核心代码：

fs.delete(new Path("/xiyou"),false);

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

7.2.4.3删除非空目录

核心代码：

fs.delete(new Path("/jinguo"),true);

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

7.2.5HDFS文件详情查看

查看文件名称、权限、长度、块信息

//获取文件详细信息
    @Test
    public void fileDetail() throws IOException {

        //获取所有文件信息
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("hdfs://hadoop102/"), true);

        //遍历文件
        while (listFiles.hasNext()) {
            LocatedFileStatus fileStatus = listFiles.next();

            System.out.println("=============" + fileStatus.getPath() + "=============");
            System.out.println(fileStatus.getPermission());
            System.out.println(fileStatus.getOwner());
            System.out.println(fileStatus.getReplication());
            System.out.println(fileStatus.getLen());
            System.out.println(fileStatus.getModificationTime());
            System.out.println(fileStatus.getReplication());
            System.out.println(fileStatus.getBlockSize());
            System.out.println(fileStatus.getPath().getName());

            //获取块信息
            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
            System.out.println(Arrays.toString(blockLocations));
        }

在这里插入图片描述

=============hdfs://hadoop102/after.txt=============
rw-r--r--
summer
3
26
1659793848099
3
134217728
after.txt
[0,26,hadoop102,hadoop104,hadoop103]
=============hdfs://hadoop102/hadoop-3.1.3.tar.gz=============
rw-r--r--
summer
2
338075860
1660640604122
2
134217728
hadoop-3.1.3.tar.gz
[0,134217728,hadoop104,hadoop102, 134217728,134217728,hadoop103,hadoop102, 268435456,69640404,hadoop102,hadoop103]
=============hdfs://hadoop102/tmp/logs/summer/logs-tfile/application_1659955855387_0001/hadoop103_40403=============
rw-r-----
summer
3
66228
1659955977487
3
134217728
hadoop103_40403
[0,66228,hadoop102,hadoop104,hadoop103]
=============hdfs://hadoop102/tmp/logs/summer/logs-tfile/application_1659955855387_0001/hadoop104_43491=============
rw-r-----
summer
3
67455
1659955978021
3
134217728
hadoop104_43491
[0,67455,hadoop102,hadoop104,hadoop103]
=============hdfs://hadoop102/tmp/logs/summer/logs-tfile/application_1659963897517_0001/hadoop102_33697=============
rw-r-----
summer
3
32036
1659969846561
3
134217728
hadoop102_33697
[0,32036,hadoop102,hadoop104,hadoop103]
=============hdfs://hadoop102/tmp/logs/summer/logs-tfile/application_1659963897517_0001/hadoop104_42477=============
rw-r-----
summer
3
103855
1659969846884
3
134217728
hadoop104_42477
[0,103855,hadoop102,hadoop104,hadoop103]

Process finished with exit code 0

7.2.6HDFS文件和文件夹判断

package com.summer.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.Arrays;

/**
 * @author Redamancy
 * @create 2022-08-15 17:59
 */


public class HdfsClient {
    private FileSystem fs;
    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        //连接的集群nn地址
        URI uri = new URI("hdfs://hadoop102:8020");
        //创建一个配置文件
        Configuration configuration = new Configuration();
        configuration.set("dfs.replication","2");
        //用户
        String user = "summer";
        //获取到了客户端对象
        fs = FileSystem.get(uri, configuration,user);
    }
    @After
    public void close() throws IOException {
        //关闭资源
        fs.close();
    }
    //判断是文件夹还是文件
    @Test
    public void testFile() throws IOException {
        FileStatus[] listStatus = fs.listStatus(new Path("/"));

        for (FileStatus status : listStatus) {
            if (status.isFile()) {
                System.out.println("文件：" + status.getPath().getName());
            }else{
                System.out.println("目录：" + status.getPath().getName());
            }
        }
    }
}

在这里插入图片描述

Redamancy_06
关注
  • 10
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
idea 远程使用hdfs copyFromLocalFile api上传文件 org.apache.hadoop.ipc.RemoteException(java.io.IOException)
TomasWenShua的博客
03-03 724
我在台式机上启动了三台虚拟机配置了一个的Hadoop3.1.3集群，并进行文件操作 A.namenode机上用hadoop shell 上传LICENSE.txt B.同一台电脑Windows操作系统下用idea通过hdfs copyFromLocalFile API上传HDFSClient.java C. 以及同一局域网另一台笔记本电脑上用idea上传 txt文件 得到以下结果： A和B上传成功并且没有报错，但是B操作只产生了两个文件副本，而我hdfs配置的是3个 C操作失败，得到 RemoteExc
HDFS 基本 shell 操作
皮埃尔的博客
11-15 6765
HDFS 基本 shell 操作
hdfs客户端Api上传下载查看文件信息
最新发布
qq_36012085的博客
04-07 159
代码设置的值>用户自定义配置文件>服务器默认配置。通过对代码的运行进行验证是否是正确的。其中我们可以通过代码修改副本参数。
java编程hdfs使用copyToLocalFile方法报NullPointerException
qq354436218的博客
01-06 634
1、使用4个参数的copyToLocalFile方法 copyToLocalFile(boolean delSrc, Path src, Path dst, boolean useRawLocalFileSystem) delSrc：是否删除源文件 src：HDFS源文件的路径 dst：本地路径 useRawLocalFileSystem：是否将RawLocalFileSystem用作本地文件系统...
hadoop fs api
朱登凯的专栏
09-12 1036
hadoop的环境搭建好之后，本篇博客来使用一下hadoop提供的分布式文件系统(hdfs)的java api。 我做了一个简单的例子，包含文件的读取、写入、删除、创建文件夹、读取文件列表等基本操作。最后会贴出来maven依赖和完整的java代码。 连接到hdfs 只需要通过一个hdfs的uri，即可连接到hdfs。如果连接失败的话，检查一下你的hdfs是否成功启动，以及是不是9000端
HdfsApi中copyToLocalFile中报空指针
qq_41301707的博客
07-09 343
HdfsApi中copyToLocalFile中报空指针 环境：Hadoop2.6.0-cdh5.16.2、jdk1.8 代码： package com.xk.Hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.n...
hadoop的hdfs文件操作实现上传文件到hdfs
09-04
主要介绍了使用hadoop的API对HDFS上的文件访问，其中包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件,需要的朋友可以参考下
Hadoop-HDFS-基于Hadoop的hdfs-分布式文件系统架构
12-22
分布式文件系统架构，存放的是文件的数据信息和验证文件完整性的校验信息，心跳机制
ecplise远程连接hadoop--hdfs java api操作文件.pdf
04-19
ecplise远程连接hadoop--hdfs java api操作文件.pdf
SpringBoot整合Hadoop的案例代码demo,含HDFS文件操作、MapReduce分词操作、案例数据分析，系统推荐等
01-12
SpringBoot整合Hadoop，项目功能包括HDFS文件操作、MapReduce分词操作以及案例数据分析，系统推荐，个体价值估算等，进击大数据一小步
java操作Hadoop源码之HDFS Java API操作-上传文件
01-17
java操作Hadoop源码之HDFS Java API操作-上传文件，附带所需全部jar包，欢迎下载学习。
hadoop文件上传下载
07-25
利用struts2上传文件到hdfs,并从hdfs下载文件。程序运行前提是搭建好hadoop环境。
FileSmartHadoop文件上传下载-实现基于文件内容查询文件
12-13
FileSmartHadoop文件上传下载-实现基于文件内容查询文件。使用MySQL、Hadoop技术。
Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学
热门推荐
小袁同学的博客
11-21 2万+
如果还没有配置好Hadoop的可以点击链接查看如何配置 各大技术基础教学、实战开发教学（正在持续更新中······） 首先，启动Hadoop集群服务 然后在浏览器访问Hadoop，点击Browse the file system 查看HDFS文件系统的目录 可以看到目前HDFS文件系统的目录是空的，没有任何的文件和文件夹，下面开始今天的API操作 一、创建Maven项目 首先，打开IDEA，点击新建项目，在左侧中选择Maven，然后直接点击next 设置项目名称，点...
[HDFS]FileSystem.copyToLocalFile下载文件报错Unable to load native-hadoop library for your platform...
05-25 1134
应用在服务器上启动后，从HDFS下载文件失败，报错如下： Unable to load native-hadoop library for your platform... using builtin-java classes where applicable The short-circuit local reads feature cannot be used because libhadoop cannot be loaded. 第一句提示不能加载Hadoop的库，检查库，提示hadoop命令
对hadoop中copyFromLocalFile 的小测试
llflilongfei的专栏
01-22 6298
刚开是学习hadoop，运行一个hadoop文件复制相关的小例子： public class CopyFile {  public static void main(String[] args) throws IOException {   // TODO Auto-generated method stub   Configuration conf =new Configuration(
Hadoop HDFS文件系统通过java FileSystem 实现上传下载等
既认准这条路，又何必在意要走多久
01-14 1万+
java 通过 hadoop api ， FileSystem ，实现对文件的创建，删除，下载，上传。或者获取文件流等。
6、eclipse + HDFS参数优先级
u010502101的博客
10-19 180
文章目录1、采用集群中配置2、采用classpath下的文件中配置的3、采用代码中的配置总结 配置集群时，关于HDFS的配置都在/etc进行了相关配置，用eclipse客户端进行开发时，可以用更高优先级的配置覆盖掉集群中的配置。下面以设置副本为例。 在hadoop集群中hdfs-site.xml的配置如下： <?xml version="1.0" encoding="UTF-8"?> ...
Hadoop学习之HDFS（HDFS客户端及API操作）心得
ljs_0的博客
03-17 2038
HDFS客户端及API操作
ssm展示HDFS文件列表，上传文件，删除文件，下载文件
05-05
1. 展示HDFS文件列表 要展示HDFS文件列表，可以使用Hadoop提供的HDFS API。以下是使用Java代码在SSM框架中展示HDFS文件列表的示例： ```java public List<String> listHdfsFiles(String path) throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path hdfsPath = new Path(path); RemoteIterator<LocatedFileStatus> files = fs.listFiles(hdfsPath, true); List<String> fileList = new ArrayList<>(); while (files.hasNext()) { fileList.add(files.next().getPath().toString()); } return fileList; } ``` 2. 上传文件 要上传文件到HDFS，可以使用Hadoop提供的HDFS API。以下是使用Java代码在SSM框架中上传文件到HDFS的示例： ```java public void uploadFileToHdfs(String localFilePath, String hdfsPath) throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path srcPath = new Path(localFilePath); Path dstPath = new Path(hdfsPath); fs.copyFromLocalFile(srcPath, dstPath); } ``` 3. 删除文件 要删除HDFS中的文件，可以使用Hadoop提供的HDFS API。以下是使用Java代码在SSM框架中删除HDFS中的文件的示例： ```java public void deleteHdfsFile(String hdfsPath) throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path path = new Path(hdfsPath); fs.delete(path, true); } ``` 4. 下载文件 要从HDFS中下载文件，可以使用Hadoop提供的HDFS API。以下是使用Java代码在SSM框架中从HDFS中下载文件的示例： ```java public void downloadHdfsFile(String hdfsPath, String localPath) throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path srcPath = new Path(hdfsPath); Path dstPath = new Path(localPath); fs.copyToLocalFile(srcPath, dstPath); } ``` 以上示例中的代码仅供参考，具体的实现方式可以根据实际需求进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Redamancy_06

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值