最新Hadoop——HDFS文件系统的Java API操作（上传、下载、查看，终获offer

Docker步步实践

目录文档：

①Docker简介

②基本概念

③安装Docker

④使用镜像：

⑤操作容器：

⑥访问仓库：

⑦数据管理：

⑧使用网络：

⑨高级网络配置：

⑩安全：

⑪底层实现：

⑫其他项目：

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

二、导入依赖

首先编辑pom.xml(Maven项目的核心文件)文件，添加如下内容，导入依赖（所需jar包）

org.apache.hadoop

hadoop-common

2.7.4

org.apache.hadoop

hadoop-hdfs

2.7.4

org.apache.hadoop

hadoop-client

2.7.4

junit

junit

4.12

IDEA会自动保存文件并且导入依赖包，点击右侧的Maven，展开Dependencies，可以看到四个依赖包以及导入进来了

三、初始化

我们通过junit来进行测试，首先创建一个类，添加如下内容

public class JavaAPI {

// 可操作HDFS文件系统的对象

FileSystem hdfs = null;

// 测试方法执行前执行，用于初始化操作，避免频繁初始化

@Before

public void init() throws IOException {

// 构造一个配置参数对象，设置一个参数：要访问的HDFS的URI

Configuration conf = new Configuration();

// 指定使用HDFS访问

conf.set(“fs.defaultFS”,“hdfs://hadoop01:9000”);

// 进行客户端身份的设置(root为虚拟机的用户名，hadoop集群节点的其中一个都可以)

System.setProperty(“HADOOP_USER_NAME”,“root”);

// 通过FileSystem的静态get()方法获取HDFS文件系统客户端对象

hdfs = FileSystem.get(conf);

}

// 测试方法执行后执行，用于处理结尾的操作，关闭对象

@After

public void close() throws IOException {

// 关闭文件操作对象

hdfs.close();

}

}

注意，上面代码中的参数**“hdfs://hadoop01:9000”**是hadoop配置文件中core-site.xml的配置信息，不记得的可以翻看我以往的hadoop配置文章

四、HDFS代码操作

（1）上传文件到HDFS文件系统

@Test

public void testUploadFileToHDFS() throws IOException {

// 待上传的文件路径(windows)

Path src = new Path(“F:/HDFS/test.txt”);

// 上传之后存放的路径(HDFS)

Path dst = new Path(“/test.txt”);

// 上传

hdfs.copyFromLocalFile(src,dst);

System.out.println(“上传成功”);

}

我在F盘的HDFS文件夹下面创建了个test.txt文本

运行一下测试方法，文件上传成功了

（2）从HDFS下载文件到本地

@Test

public void testDownFileToLocal() throws IOException {

// 待下载的路径(HDFS)

Path src = new Path(“/test.txt”);

// 下载成功之后存放的路径(windows)

Path dst = new Path(“F:/HDFS/test1.txt”);

// 下载

hdfs.copyToLocalFile(false,src,dst,true);

ystem.out.println(“下载成功”);

}

运行一下，下载成功

（3）创建目录

@Test

public void testMkdirFile() throws IOException {

// 待创建目录路径

Path src = new Path(“/HDFS”);

// 创建目录

hdfs.mkdirs(src);

System.out.println(“创建成功”);

}

运行测试方法，创建成功

（4）重命名

@Test

public void testRenameFile() throws IOException {

// 重命名之前的名字

Path src = new Path(“/HDFS”);

// 重命名之后的名字

Path dst = new Path(“/HDFS1”);

// 重命名

hdfs.rename(src,dst);

学习分享，共勉

这里是小编拿到的学习资源，其中包括“中高级Java开发面试高频考点题笔记300道.pdf”和“Java核心知识体系笔记.pdf”文件分享，内容丰富，囊括了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。同时还有Java进阶学习的知识笔记脑图（内含大量学习笔记）！

资料整理不易，读者朋友可以转发分享下！

Java核心知识体系笔记.pdf

中高级Java开发面试高频考点题笔记300道.pdf

架构进阶面试专题及架构学习笔记脑图

Java架构进阶学习视频分享

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

笔记300道.pdf**

[外链图片转存中…(img-ghoQBtlJ-1715627033159)]

架构进阶面试专题及架构学习笔记脑图

[外链图片转存中…(img-DeBMD9OA-1715627033159)]

Java架构进阶学习视频分享

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取