HDFS JAVA API（Hadoop3.0）

已于 2023-04-20 13:35:14 修改
阅读量727 收藏 1
点赞数 1
文章标签： java hdfs hadoop
于 2023-04-18 11:04:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35193897/article/details/130217218
版权

HDFS JAVA API（Hadoop3.0）

01:26:44

文档模式

操作模式

兼容模式

功能栏

实验要求

实验报告

大

中

小

实验目的

1.掌握HDFS JAVA API的

2.了解JAVA API的执行流程

实验原理

1.HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础篇，为了实现本地与HDFS的文件传输，主要借助Eclipse开发环境，通过java编程实现了远程HDFS的文件创建，上传，下载，删除等。

其实对HDSF的文件操作主要有两种方式：命令行的方式和JavaAPI的方式。命令行的方式简单直接，但是必须要求本地机器也是在Linux系统中已经安装了hadoop，这对习惯用windows系统的用户来说不得不安装虚拟机，然后再在虚拟机上安装Linux系统，这是一种挑战。同时windows系统与虚拟机上安装的Linux系统进行文件传输也是要借助一些工具才可以实现。

为了实现以上所遇到诸如系统不一致，手动输入命令等的困扰，我们选择Java API的方式，有专门的API函数，可以在非Hadoop机器上实现访问，同时与系统无关（windows、Linux甚至XP系统也可以）。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，Hadoop类库中最终面向用户提供的接口类是FileSystem，该类封装了几乎所有的文件操作，例如CopyToLocalFile、CopyFromLocalFile、mkdir及delete等。综上基本上可以得出操作文件的程序库框架：

operator( ) {
　　　　得到Configuration对象
　　　　得到FileSystem对象
　　　　进行文件操作 
}

2.下面介绍实现上述程序库框架中各个操作的具体步骤

Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类，通过以下两种静态工厂方法可以过去FileSystem实例：

public static FileSystem.get(Configuration conf) throws IOException

public static FileSystem.get(URI uri, Configuration conf) throws IOException

HDFS上的文件创建，上传，下载，删除等操作的具体方法实现：

（1）public boolean mkdirs(Path f) throws IOException

一次性新建所有目录（包括父目录）， f是完整的目录路径。

（2）public FSOutputStream create(Path f) throws IOException

创建指定path对象的一个文件，返回一个用于写入数据的输出流

create()有多个重载版本，允许我们指定是否强制覆盖已有的文件、文件备份数量、写入文件缓冲区大小、文件块大小以及文件权限。

（3）public boolean copyFromLocal(Path src, Path dst) throws IOException

将本地文件拷贝到文件系统

（4）public boolean exists(Path f) throws IOException

检查文件或目录是否存在

（5）public boolean delete(Path f, Boolean recursive)

永久性删除指定的文件或目录，如果f是一个空目录或者文件，那么recursive的值就会被忽略。只有recursive＝true时，一个非空目录及其内容才会被删除。

（6）FileStatus类封装了文件系统中文件和目录的元数据，包括文件长度、块大小、备份、修改时间、所有者以及权限信息。

实验环境

Linux Ubuntu 20.04

Java 1.8.0

Hadoop-3.0.0

Eclipse-JEE 2022.03

hadoop-eclipse-plugin-2.7.3.jar 

实验内容

本实验涉及到使用Java API对HDFS的一些基本操作。

1.创建类MakeDir.class，在HDFS的根目录下，创建名为hdfstest的目录。

2.创建类TouchFile.class，在HDFS的目录/hdfstest下，创建名为touchfile的文件。

3.创建类CopyFromLocalFile.class，将linux本地文件/data/mydata/sample_data，上传到HDFS文件系统的/hdfstest目录下。

4.创建类CopyToLocalFile.class，将HDFS文件系统上的文件/hdfstest/sample_data，下载到本地/data/mydata/copytolocal 。

5.创建类ListFiles.class，列出HDFS文件系统/hdfstest目录下，所有的文件，以及文件的权限、用户组、所属用户。

6.创建类IteratorListFiles.class，列出HDFS文件系统/根目录下，以及各级子目录下，所有文件以及文件的权限、用户组，所属用户。

7.了解FileSystem类下的方法，例如：判断文件是否存在、删除文件、重命名文件等。

8.创建类LocateFile.class，查看HDFS文件系统上，文件/hdfstest/sample_data的文件块信息。

9.创建类WriteFile.class，在HDFS上，创建/hdfstest/writefile文件，并在文件中写入内容“hello world hello data!”。

10.创建类PutMerge.class，将Linux本地文件夹/data/mydata/下的所有文件，上传到HDFS上并合并成一个文件/hdfstest/mergefile。

实验步骤

1.切换目录到/apps/hadoop/sbin下，启动Hadoop相关进程。

cd /apps/hadoop/sbin
./start-all.sh

在Linux本地创建/data/hadoop4目录。

mkdir -p /data/hadoop4

2.切换到/data/hadoop4目录，用wget命令下载依赖包hadoop2lib.tar.gz，并解压到当前目录。

cd /data/hadoop4
wget http://10.51.46.104:32600/allfiles/hadoop4/hadoop2lib.tar.gz
tar zxvf hadoop2lib.tar.gz

3.打开Eclipse，在/home/devuser/eclipse-workspace工作空间下新建Java项目，名为hadoop4。

4.在hadoop4项目下创建目录，名为hadoop4lib，用于存放项目所需依赖包。

5.在hadoop4项目下新建包，名为my.hdfs。

6.从/data/hadoop4/hadoop2lib目录下拷贝所有jar包到项目下的hadoop4lib目录。

选中hadoop4lib里面的所有jar包，右键点击BuildPath=>Add to Build Path选项。

这样就将jar包加载到项目里面了。

7.在my.hdfs包下，新建类MakeDir，程序功能是在HDFS的根目录下，创建名为hdfstest的目录。

package my.hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class MakeDir {
	public static void main(String[] args) throws IOException, URISyntaxException {
		Configuration conf = new Configuration();

		String hdfsPath = "hdfs://localhost:9000";
		FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);

		String newDir = "/hdfstest";

		boolean result = hdfs.mkdirs(new Path(newDir));
		if (result) {
			System.out.println("Success!");
		}else {
			System.out.println("Failed!");
		}
	}
}

在Eclipse里执行，然后在HDFS上查看实验结果。

hadoop fs -ls -R /

8.在my.hdfs包下，新建类TouchFile，程序功能是在HDFS的/hdfstest目录下，创建名为touchfile的文件。

package my.hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TouchFile {
	public static void main(String[] args) throws IOException, URISyntaxException {
		Configuration configuration = new Configuration();

		String hdfsPath = "hdfs://localhost:9000";
		FileSystem hdfs = FileSystem.get(new URI(hdfsPath), configuration);

		String filePath = "/hdfstest/touchfile";

		FSDataOutputStream create = hdfs.create(new Path(filePath));

		System.out.println("Finish!");
	}
}

在Eclipse里执行，然后在HDFS上查看实验结果。

hadoop fs -ls -R /

9.在/data/hadoop4下使用vim打开sample_data文件

cd /data/hadoop4
vim sample_data

向sample_data文件中写入hello world。(使用vim编辑时，需输入i，开启输入模式)

hello world

在my.hdfs包下，创建类CopyFromLocalFile，程序功能是将本地Linux操作系统上的文件/data/hadoop4/sample_data，上传到HDFS文件系统的/hdfstest目录下。

package my.hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class CopyFromLocalFile {
	public static void main(String[] args) throws IOException, URISyntaxException {
		Configuration conf = new Configuration();
		String hdfsPath = "hdfs://localhost:9000";
		FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);
		String from_Linux = "/data/hadoop4/sample_data";
		String to_HDFS = "/hdfstest/";
		hdfs.copyFromLocalFile(new Path(from_Linux), new Path(to_HDFS));
		System.out.println("Finish!");
	}
}

在Eclipse里执行，然后在HDFS上查看实验结果。

hadoop fs -ls -R /

10.在/data/hadoop4/下创建目录copytolocal。

mkdir /data/hadoop4/copytolocal

在my.hdfs包下，创建类CopyToLocalFile，程序功能是将HDFS文件系统上的文件/hdfstest/sample_data，下载到本地/data/hadoop4/copytolocal 。

package my.hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class CopyToLocalFile {
	public static void main(String[] args) throws IOException, URISyntaxException {
		Configuration conf = new Configuration();

		String hdfsPath = "hdfs://localhost:9000";
		FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);

		String from_HDFS = "/hdfstest/sample_data";
		String to_Linux = "/data/hadoop4/copytolocal";

		hdfs.copyToLocalFile(false, new Path(from_HDFS), new Path(to_Linux));

		System.out.println("Finish!");
	}
}

在Eclipse里执行，然后在Linux本地/data/hadoop4上查看实验结果。

cd /data/hadoop4/copytolocal
ls

将sample_data文件拷贝至/data/目录下

cp /data/hadoop4/copytolocal/sample_data /data/

11.在my.hdfs包下，新建类ListFiles，程序功能是列出HDFS文件系统/hdfstest目录下，所有的文件，以及文件的权限、用户组、所属用户。

package my.hdfs;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class ListFiles {
	public static void main(String[] args) throws IOException {
		Configuration conf = new Configuration();
		String hdfspath = "hdfs://localhost:9000/";
		FileSystem hdfs = FileSystem.get(URI.create(hdfspath), conf);
		String watchHDFS = "/hdfstest";
		FileStatus[] files = hdfs.listStatus(new Path(watchHDFS));
		for (FileStatus file : files) {
			System.out.println(file.getPermission() + " " + file.getOwner()
					+ " " + file.getGroup() + " " + file.getPath());
		}
	}
}

在Eclipse里执行，然后在Eclipse的控制界面Console上查看实验结果。

12.在my.hdfs包下，新建类IteratorListFiles，程序功能是列出HDFS文件系统/根目录下，以及各级子目录下，所有文件以及文件的权限、用户组，所属用户。

package my.hdfs;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class IteratorListFiles {
	public static void main(String[] args) throws IOException {
		Configuration conf = new Configuration();
		String hdfspath = "hdfs://localhost:9000/";
		FileSystem hdfs = FileSystem.get(URI.create(hdfspath), conf);
		String watchHDFS = "/";

		iteratorListFile(hdfs, new Path(watchHDFS));
	}
	public static void iteratorListFile(FileSystem hdfs, Path path)
			throws FileNotFoundException, IOException {
		FileStatus[] files = hdfs.listStatus(path);
		for (FileStatus file : files) {
			if (file.isDirectory()) {
				System.out.println(file.getPermission() + " " + file.getOwner()
						+ " " + file.getGroup() + " " + file.getPath());
				iteratorListFile(hdfs, file.getPath());
			} else if (file.isFile()) {
				System.out.println(file.getPermission() + " " + file.getOwner()
						+ " " + file.getGroup() + " " + file.getPath());
			}
		}
	}
}

在Eclipse里执行，然后在Eclipse的控制界面Console上查看实验结果。

13.文件是否存在、删除文件、重命名文件

了解FileSystem类下的方法，例如：判断文件是否存在、删除文件、重命名文件等。

FileSystem的方法exists、delete、rename。

exists

rename

delete

用于查看文件块的信息。

14.在my.hdfs包下，新建类LocateFile，程序功能是查看HDFS文件系统上，文件/hdfstest/sample_data的文件块信息。

package my.hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class LocateFile {
	public static void main(String[] args) throws IOException, URISyntaxException {
		Configuration conf = new Configuration();
		String hdfsPath = "hdfs://localhost:9000";
		FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);

		Path file = new Path("/hdfstest/sample_data");
		FileStatus fileStatus = hdfs.getFileStatus(file);

		BlockLocation[] location = hdfs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
		for (BlockLocation block : location) {
			String[] hosts = block.getHosts();
			for (String host : hosts) {
				System.out.println("block:" +block + " host:"+ host);
			}
		}
	}
}

在Eclipse里执行，然后在Eclipse的控制界面Console上查看实验结果。

15.在my.hdfs包下，新建类WriteFile，程序功能是在HDFS上，创建/hdfstest/writefile文件并在文件中写入内容“hello world hello data!”。

package my.hdfs;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class WriteFile {
	public static void main(String[] args) throws IOException {
		Configuration conf = new Configuration();

		String hdfsPath = "hdfs://localhost:9000";
		FileSystem hdfs = FileSystem.get(URI.create(hdfsPath), conf);

		String filePath = "/hdfstest/writefile";

		FSDataOutputStream create = hdfs.create(new Path(filePath));

		System.out.println("Step 1 Finish!");

		String sayHi = "hello world hello data!";
		byte[] buff = sayHi.getBytes();
		create.write(buff, 0, buff.length);
		create.close();
		System.out.println("Step 2 Finish!");
	}
}

在Eclipse里执行，然后在HDFS上查看实验结果。

hadoop fs -ls -R /hdfstest
hadoop fs -cat /hdfstest/writefile

16.首先切换到/data/hadoop4目录下，将该目录下的所有文件删除（此时要求/data/hadoop4中必须全是文件，不能有目录）。

cd /data/hadoop4
rm -r /data/hadoop4/*

然后在该目录下新建两文件，分别命名为file1、file2。

touch file1
touch file2

向file1和file2中，分别输入内容如下

echo "hello file1" > file1
echo "hello file2" > file2

在my.hdfs包下，新建类PutMerge，程序功能是将Linux本地文件夹/data/hadoop4/下的所有文件，上传到HDFS上并合并成一个文件/hdfstest/mergefile。

在my.hdfs包下，新建类PutMerge，程序功能是将Linux本地文件夹/data/hadoop4/下的所有文件，上传到HDFS上并合并成一个文件/hdfstest/mergefile。

package my.hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class PutMerge {
	public static void main(String[] args) throws IOException, URISyntaxException {
		Configuration conf = new Configuration();
		String hdfsPath = "hdfs://localhost:9000";
		FileSystem hdfs  = FileSystem.get(new URI(hdfsPath), conf);
		FileSystem local = FileSystem.getLocal(conf);
		String from_LinuxDir = "/data/hadoop4/";
		String to_HDFS = "/hdfstest/mergefile";
		FileStatus[] inputFiles = local.listStatus(new Path(from_LinuxDir));
		FSDataOutputStream out = hdfs.create(new Path(to_HDFS));

		for (FileStatus file : inputFiles) {
			FSDataInputStream in = local.open(file.getPath());
			byte[] buffer = new byte[256];
			int bytesRead = 0;
			while ( (bytesRead = in.read(buffer) ) > 0) {
				out.write(buffer, 0, bytesRead);
			}
			in.close();
		}
		System.out.println("Finish!");
	}
}

在Eclipse里执行，然后在HDFS上查看实验结果。

hadoop fs -ls /hdfstest

在Eclipse里执行，然后在HDFS上查看实验结果。

hadoop fs -ls /hdfstest

到此实验完毕！

qq_35193897
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop用法记录(一)
reddy_Hu的博客
07-08 666
1.创建文件夹 在hadoop中创建文件夹 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.net.URI; import java.net.URISyntaxException; public class ClientDemo1 { public static void main(S
HDFS的java操作
dongdingjiu8971的博客
07-30 440
搭建开发环境 1、引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</version> </de...
Hadoop3：Java客户端常用的HDFS API
最新发布
Brave_heart4pzj的博客
05-13 413
Hadoop
使用Java API操作HDFS
m0_73832851的博客
11-02 3401
使用Java API操作HDFS的实验原理如下：配置Hadoop环境：首先需要配置Hadoop的环境，包括设置Hadoop的安装路径、配置core-site.xml和hdfs-site.xml等文件，以便Java程序能够连接到HDFS。引入Hadoop依赖：在Java项目中，需要引入Hadoop的相关依赖，包括hadoop-common、hadoop-hdfs等依赖，以便能够使用Hadoop提供的API。
Hadoop核心类API介绍：轻松掌握大数据处理利器！
u013558123的博客
03-31 311
通过以上示例，相信大家对Hadoop的核心类API已经有了一定的了解。掌握这些API，将有助于我们更好地使用Hadoop进行大数据处理。在实际开发中，还需根据具体需求选择合适的API和方法，以达到最优的性能和效果。
HDFS的Java API操作
bx1215的博客
04-03 545
winutils： 适用于Hadoop版本的Windows二进制文件，这些是直接从用于创建官方ASF版本的相同git提交构建的;它们被检出并构建在Windows VM上，该VM专用于在Windows上测试Hadoop / YARN应用程序。件 >（3）然后是服务器的自定义配置（xxx-site.xml）>（4）服务器的默认配置（xxx-default.xml）参数优先级排序：（1）客户端代码中设置的值 >（2）ClassPath 下的用户自定义配置文。(点击蓝色字体跳转)
Hadoop 3.0大数据平台性能
08-21
在Java编程接口上，Hadoop 3.0对API进行了优化，提供了更好的兼容性和稳定性。开发人员可以更容易地升级到新版本，同时保持代码的兼容性。此外，Hadoop 3.0还支持更多的编程语言，如Python和R，使得数据科学家和分析...
Hadoop3.0 + JDK1.8.1+Hadoop-win运行包2.6.0--3.0.0
03-25
安装和配置过程中需要注意环境变量的设置，确保Hadoop和Java的路径正确，同时也需要配置Hadoop的相关配置文件，如`core-site.xml`、`hdfs-site.xml`等，以便于HDFS的正常运行和数据存储。最后，通过编写MapReduce...
基于Hadoop的分布式系统依赖的所有JAR包
11-09
`hadoop-mapreduce-client-core.jar`包含了MapReduce的基本功能，而`hadoop-mapreduce-client-jobclient.jar`则包含与JobTracker交互的客户端API。此外，还有`hadoop-streaming.jar`，这是一个可选的JAR，用于使用...
hadoop.dll 和 winutils.exe
07-10
这个库文件可能包含了Hadoop的JNI（Java Native Interface）实现，使得Java代码能够调用本地系统的服务，如设置环境变量、管理HDFS（Hadoop Distributed File System）或者执行MapReduce任务等。 接下来，我们来看...
最新Apache Hadoop-3.0.0 百度云下载
03-21
5. **跨语言支持**：Hadoop 3.0.0加强了对多种编程语言的API支持，如Java、Python、C++等，使得开发者可以更灵活地选择开发工具。 6. **性能优化**：在3.0.0版本中，Hadoop对MapReduce进行了大量优化，包括更快的...
Hadoop Java API
曾有樱花落海洋
03-03 1039
Hadoop Java API 1、常用对象 org.apache.hadoop.fs.FileSystem HDFS的主要操作对象,必须获取到这个实例对象,才可以操作HDFS. 这是一个比较通用的文件系统的抽象基类，可以实现分布式系统或者本地连接磁盘，本地版本可以做hadoop的小测试。 要想使用HDFS，那么就得使用这个FileSystem的对象或者子类对象。 本地实现是L...
HDFS Java API 操作
m0_72168501的博客
11-28 3628
java API 操作hdfs
JavaAPI的使用方法详解
fmz2222的博客
03-19 1166
Java类库是Java语言提供的已实现的标准类的集合，是Java编程的API。(3)包的命名通常与代码文件的存储位置有关。例如，保存上述Something.java文件的路径是net/Java net/Java/util/something . Java，因为Something.java文件中声明的包名是net.java.util。使用java类库(或Java API)的方法是使用import语句，即import语句要位于Java源文件中的package语句之后，所有类的定义之前，可以没有也可以不止一个。
hadoop java访问_hadoop笔记三：java访问HDFS
weixin_42165712的博客
02-15 578
1.HDFS的java访问接口1)org.apache.hadoop.conf.Configuration读取、解析配置文件(如core-site.xml/hdfs-default.xml/hdfs-site.xml等)，或添加配置的工具类。2)org.apache.hadoop.fs.FileSystem代表分布式文件系统的一个实例，是一个通用的文件系统API，提供了不同文件系统的统一访问方式。...
IDEA-Maven项目中：java:程序包org.apache.hadoop.conf.fs等众多Hadoop包不存在的问题
热门推荐
风口IT猪的成长录
09-06 1万+
java:org.apache.hadoop.conf.fs问题描述解决方案mvn idea:idea 问题描述 package com.zs.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit.Test; import java.io.IOException; import
HDFS每日一练2 API读取文件
Auraros的博客
10-24 3415
HDFS每日一练2 API读取文件 题目 在右侧代码编辑区和命令行中，编写代码与脚本实现如下功能： 在/develop/input/目录下创建hello.txt文件，并输入如下数据： 迢迢牵牛星，皎皎河汉女。 纤纤擢素手，札札弄机杼。 终日不成章，泣涕零如雨。 河汉清且浅，相去复几许？ 盈盈一水间，脉脉不得语。 《迢迢牵牛星》 使用FSDataOutputStream对象将文件上传至HDFS的/user/tmp/目录下，并打印进度。 测试说明： 测试说明 平台会运行你的java程序，并
Hadoop大数据零基础入门课程
01-23
Hadoop2.X大数据零基础入门课程，主要包括HDFS、MapReduce、ZooKeeper、Kafka等框架理论知识、集群搭建、操作实战等。
HDFS的JAVA API操作（上传文件和下载文件）
weixin_44947339的博客
03-22 1万+
阅读目录HDFS Java API一、创建项目 ：example-hdfs二、修改pom.xml文件三、创建类TestHDFSClient.java四、创建文件五、下载文件六、上传文件七、其他常见的操作(这里不做演示了）八、FileSystem类常用方法九、遇到的错误及解决方法 HDFS Java API HDFS Java API 位于“org.apache.hadoop.fs"包中，这些AP...
实现Hadoop HDFS Java API的方法。
05-05
要实现Hadoop HDFS Java API，可以按照以下步骤进行操作： 1. 首先，需要安装Hadoop集群和配置HDFS。可以根据自己的需求进行安装和配置，也可以使用现有的Hadoop集群。 2. 然后需要在Java项目中添加Hadoop的依赖库...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值