【HDFS存储】Java语言实现

Hadoop生态系统中包含多种与其相关联的技术应用，主要包括但不限于HDFS

• HDFS（Hadoop Distributed File System）：作为一个高度可靠、高吞吐量的分布式文件系统，它是Hadoop核心技术之一，用于存储海量数据。

 Java语言实现HDFS存储超大文件，可以通过以下步骤进行：

1. 导入Hadoop相关的依赖库。在Maven项目中，可以在pom.xml文件中添加以下依赖：

 <dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.3.1</version>
    </dependency>
</dependencies>

1. 创建Java项目并编写代码实现分块存储和上传大文件到HDFS。以下是一个简单的示例：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class HDFSExample {
    public static void main(String[] args) throws IOException, URISyntaxException {
        // 创建Hadoop配置对象
        Configuration conf = new Configuration();
        // 设置HDFS的URI
        conf.set("fs.defaultFS", "hdfs://localhost:9000");

        // 获取HDFS文件系统对象
        FileSystem fs = FileSystem.get(new URI("hdfs://localhost:9000"), conf);

        // 指定要上传的文件路径
        Path localSrc = new Path("path/to/local/largefile");
        // 指定HDFS上的目标路径
        Path hdfsDst = new Path("/path/to/hdfs/directory");

        // 将本地文件上传到HDFS
        fs.copyFromLocalFile(localSrc, hdfsDst);

        // 关闭文件系统对象
        fs.close();
    }
}

指定用户权限:

文件权限问题

上传成功的截图: