hdfs-客户端操作-文件上传

HDFS（Hadoop Distributed File System）是 Hadoop 生态系统中用于存储大规模数据的分布式文件系统。下面将分别介绍使用 Java 和 Python 编写 HDFS 客户端代码来实现文件上传功能。

Java 实现

在 Java 中，可以使用 Hadoop 提供的 API 来操作 HDFS。以下是一个简单的 Java 代码示例，用于将本地文件上传到 HDFS：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class HDFSUploader {
    public static void main(String[] args) {
        // 配置 Hadoop 环境
        Configuration conf = new Configuration();
        // 设置 HDFS 的名称节点地址
        conf.set("fs.defaultFS", "hdfs://localhost:9000");

        try {
            // 获取 HDFS 文件系统实例
            FileSystem fs = FileSystem.get(conf);
            // 本地文件路径
            Path localPath = new Path("/path/to/local/file.txt");
            // HDFS 目标路径
            Path hdfsPath = new Path("/user/hadoop/uploaded_file.txt");
            // 上传文件
            fs.copyFromLocalFile(localPath, hdfsPath);
            System.out.println("文件上传成功！");
            // 关闭文件系统
            fs.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}    

代码解释

1. 配置 Hadoop 环境：创建 Configuration 对象，并设置 fs.defaultFS 为 HDFS 的名称节点地址。
2. 获取文件系统实例：使用 FileSystem.get(conf) 方法获取 HDFS 文件系统的实例。
3. 指定文件路径：分别指定本地文件路径和 HDFS 目标路径。
4. 上传文件：使用 fs.copyFromLocalFile(localPath, hdfsPath) 方法将本地文件上传到 HDFS。
5. 关闭文件系统：使用 fs.close() 方法关闭文件系统。

Python 实现

在 Python 中，可以使用 hdfs 库来操作 HDFS。首先需要安装 hdfs 库：

bash

pip install hdfs

以下是一个 Python 代码示例，用于将本地文件上传到 HDFS：

from hdfs import InsecureClient

# 创建 HDFS 客户端实例
client = InsecureClient('http://localhost:50070', user='hadoop')

# 本地文件路径
local_file = '/path/to/local/file.txt'
# HDFS 目标路径
hdfs_path = '/user/hadoop/uploaded_file.txt'

try:
    # 上传文件
    client.upload(hdfs_path, local_file)
    print("文件上传成功！")
except Exception as e:
    print(f"文件上传失败: {e}")
    

代码解释

1. 创建 HDFS 客户端实例：使用 InsecureClient 类创建一个 HDFS 客户端实例，需要指定 HDFS 的 WebHDFS 地址和用户名。
2. 指定文件路径：分别指定本地文件路径和 HDFS 目标路径。
3. 上传文件：使用 client.upload(hdfs_path, local_file) 方法将本地文件上传到 HDFS。
4. 异常处理：使用 try-except 块捕获并处理可能出现的异常。