HDFS Java API

已于 2024-06-22 16:32:43 修改
阅读量8.1w 收藏
点赞数
分类专栏： Hadoop 大数据 Java 文章标签： java hdfs hadoop 大数据
于 2023-04-12 11:45:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24330181/article/details/130103549
版权
大数据 同时被 3 个专栏收录
143 篇文章 10 订阅
订阅专栏
Java
61 篇文章 2 订阅
订阅专栏
Hadoop
13 篇文章 2 订阅
订阅专栏

HDFS Java API

package cn.lhz.util.hadoop;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hdfs.DistributedFileSystem;

import java.io.IOException;
import java.net.URI;

/**
 * HDFS 工具类
 *
 * @author 李昊哲
 * @version 1.0.0
 */
public class HdfsUtil {

  /**
   * 获取 HDFS 分布式文件系统
   *
   * @return 分布式文件系统
   * @throws IOException IOException
   */
  public static DistributedFileSystem getDfs() throws IOException {
    // 通过这种方式设置java客户端身份
    System.setProperty("HADOOP_USER_NAME", "root");
    // 配置参数
    Configuration conf = new Configuration();
    DistributedFileSystem dfs = new DistributedFileSystem();
    String nameService = conf.get("dfs.nameservices");
    String hdfsRPCUrl = "hdfs://" + nameService + ":" + 8020;
    // 分布式文件系初始化
    dfs.initialize(URI.create(hdfsRPCUrl), conf);
    return dfs;
  }

  /**
   * 断开 HDFS 连接
   *
   * @param dfs HDFS 分布式文件系统
   * @throws IOException IOException
   */
  public static void close(DistributedFileSystem dfs) throws IOException {
    dfs.close();
  }
}


package cn.lhz.hadoop;

import cn.lhz.util.hadoop.HdfsUtil;
import lombok.extern.slf4j.Slf4j;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import org.junit.jupiter.api.Test;

import java.io.File;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * HDFS 常用操作
 *
 * @author 李昊哲
 * @version 1.0.0
 */
@Slf4j
public class HdfsTest {

  @Test
  public void test01() {
    // 测试连接HDFS
    // hdfs haadmin -getServiceState nn1
    // hdfs haadmin -getServiceState nn2
    try {
      // 适用于单机模式和伪分布式集群
      URI uri = new URI("hdfs://spark01:8020");
      // 配置项
      Configuration conf = new Configuration();
      // hadoop 用户名
      String user = "root";
      // 获取hdfs资源
      FileSystem fs = FileSystem.get(uri, conf, user);
      // 判断 hdfs 根下是否存在 目录或文件 lihaozhe
      boolean exists = fs.exists(new Path("/lihaozhe"));
      // 释放资源
      log.info("exists:{}", exists);
      fs.close();
    } catch (URISyntaxException | IOException | InterruptedException e) {
      throw new RuntimeException(e);
    }
  }

  @Test
  public void test02() {
    // 无配置文件版本 分布式文件系统
    try {
      String nameservices = "lihaozhe";
      String[] namenodesAddr = {"spark01:8020", "spark02:8020"};
      String[] namenodes = {"nn1", "nn2"};
      Configuration conf = new Configuration();
      conf.set("fs.defaultFS", "hdfs://" + nameservices);
      conf.set("dfs.nameservices", nameservices);
      conf.set("dfs.ha.namenodes." + nameservices, namenodes[0], namenodes[1]);
      conf.set("dfs.namenode.rpc-address." + nameservices + "." + namenodes[0], namenodesAddr[0]);
      conf.set("dfs.namenode.rpc-address." + nameservices + "." + namenodes[1], namenodesAddr[1]);
      conf.set("dfs.client.failover.proxy.provider." + nameservices, "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
      String hdfsRPCUrl = "hdfs://" + nameservices + ":" + 8020;
      // 通过这种方式设置java客户端身份
      System.setProperty("HADOOP_USER_NAME", "root");
      // 新建一个分布式文件系统
      DistributedFileSystem dfs = new DistributedFileSystem();
      // 分布式文件系初始化
      dfs.initialize(URI.create(hdfsRPCUrl), conf);
      // 判断 hdfs 根下是否存在 目录或文件 lihaozhe
      boolean exists = dfs.exists(new Path("/lihaozhe"));
      // 释放资源
      dfs.close();
      log.info("exists:{}", exists);
    } catch (IOException e) {
      throw new RuntimeException(e);
    }
  }

  @Test
  public void test03() {
    // 有配置文件版本 分布式文件系统
    try {
      // 通过这种方式设置java客户端身份
      System.setProperty("HADOOP_USER_NAME", "root");
      // 配置参数
      Configuration conf = new Configuration();
      DistributedFileSystem dfs = new DistributedFileSystem();
      String nameService = conf.get("dfs.nameservices");
      String hdfsRPCUrl = "hdfs://" + nameService + ":" + 8020;
      // 分布式文件系初始化
      dfs.initialize(URI.create(hdfsRPCUrl), conf);
      // 判断 hdfs 根下是否存在 目录或文件 lihaozhe
      boolean exists = dfs.exists(new Path("/lihaozhe"));
      // 释放资源
      dfs.close();
      log.info("exists:{}", exists);
    } catch (IOException e) {
      throw new RuntimeException(e);
    }
  }

  @Test
  public void test04() {
    // HdfsUtil 工具类
    try {
      DistributedFileSystem dfs = HdfsUtil.getDfs();
      // 判断 hdfs 根下是否存在 目录或文件 lihaozhe
      boolean exists = dfs.exists(new Path("/lihaozhe"));
      dfs.close();
      // 释放资源
      log.info("exists:{}", exists);
    } catch (IOException e) {
      throw new RuntimeException(e);
    }
  }

  @Test
  public void test05() throws IOException {
    DistributedFileSystem dfs = HdfsUtil.getDfs();
    FileStatus[] listStatus = dfs.listStatus(new Path("/"));
    dfs.close();
    for (FileStatus fileStatus : listStatus) {
      log.info("fileStatus:{}", fileStatus.getPath());
    }
  }

  @Test
  public void test06() throws IOException {
    DistributedFileSystem dfs = HdfsUtil.getDfs();
    Path path = new Path("/xiaoshuo");
    if (!dfs.exists(path)) {
      System.out.println(dfs.mkdirs(path) ? "创建成功" : "创建失败");
    } else {
      System.out.println(path.getName() + "已经存在无需重复创建");
    }
    dfs.close();
  }

  @Test
  public void test07() throws IOException {
    DistributedFileSystem dfs = HdfsUtil.getDfs();
    Path src = new Path("/xiaoshuo");
    Path dst = new Path("/小说");
    if (dfs.exists(src)) {
      System.out.println(dfs.rename(src, dst) ? "修改成功" : "修改失败");
    } else {
      System.out.println(src.getName() + "文件不存在");
    }
    dfs.close();
  }

  @Test
  public void test08() throws IOException {
    DistributedFileSystem dfs = HdfsUtil.getDfs();
    Path path = new Path("/小说");
    if (dfs.exists(path)) {
      System.out.println(dfs.delete(path, true) ? "删除成功" : "删除失败");
    } else {
      System.out.println(path.getName() + "文件不存在");
    }
    dfs.close();
  }

  @Test
  public void test09() throws IOException {
    DistributedFileSystem dfs = HdfsUtil.getDfs();
    Path path = new Path("/小说");
    Path src = new Path("三国演义.txt");
    Path dst = new Path("/小说/三国演义.txt");
    if (!dfs.exists(path)) {
      // 如果上传父目录不存在 先创建
      if (dfs.mkdirs(path)) {
        // 父目录创建成功后开上传
        dfs.copyFromLocalFile(src, dst);
      }
    } else {
      // 父目录存在 直接上传
      dfs.copyFromLocalFile(src, dst);
    }
    System.out.println(dfs.exists(dst) ? "上传成功" : "上传失败");
    dfs.close();
  }

  @Test
  public void test10() throws IOException {
    DistributedFileSystem dfs = HdfsUtil.getDfs();
    Path src = new Path("/小说/三国演义.txt");
    Path dst = new Path("三国.txt");
    if (dfs.exists(src)) {
      dfs.copyToLocalFile(src, dst);
      File file = new File(dst.getName());
      System.out.println(file.exists() ? "下载成功" : "下载失败");
    } else {
      System.out.println("文件不存在无法下载");
    }
    dfs.close();
  }
}

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>cn.lhz</groupId>
  <artifactId>hadoop</artifactId>
  <version>1.0.0</version>

  <properties>
    <jdk.version>8</jdk.version>
    <!-- 公共配置 -->
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
    <maven.compiler.compilerVersion>8</maven.compiler.compilerVersion>
    <maven.compiler.encoding>utf-8</maven.compiler.encoding>
    <project.build.sourceEncoding>utf-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <maven.test.failure.ignore>true</maven.test.failure.ignore>
    <maven.test.skip>true</maven.test.skip>

    <junit.version>5.10.2</junit.version>
    <lombok.version>1.18.32</lombok.version>
    <commons-lang3.version>3.14.0</commons-lang3.version>
    <commons-io.version>2.16.1</commons-io.version>
    <jackson.version>2.17.1</jackson.version>
    <slf4j.version>2.0.13</slf4j.version>
    <hadoop.version>3.3.6</hadoop.version>
    <guava.version>33.0.0-jre</guava.version>
    <mysql.version>8.4.0</mysql.version>
    <protobuf.version>4.27.1</protobuf.version>
  </properties>

  <dependencies>
    <dependency>
      <groupId>org.junit.jupiter</groupId>
      <artifactId>junit-jupiter-engine</artifactId>
      <version>${junit.version}</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.junit.jupiter</groupId>
      <artifactId>junit-jupiter-api</artifactId>
      <version>${junit.version}</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.projectlombok</groupId>
      <artifactId>lombok</artifactId>
      <version>${lombok.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.commons</groupId>
      <artifactId>commons-lang3</artifactId>
      <version>${commons-lang3.version}</version>
    </dependency>
    <dependency>
      <groupId>commons-io</groupId>
      <artifactId>commons-io</artifactId>
      <version>${commons-io.version}</version>
    </dependency>
    <!--jackson-->
    <dependency>
      <groupId>com.fasterxml.jackson.core</groupId>
      <artifactId>jackson-core</artifactId>
      <version>${jackson.version}</version>
    </dependency>
    <dependency>
      <groupId>com.fasterxml.jackson.core</groupId>
      <artifactId>jackson-annotations</artifactId>
      <version>${jackson.version}</version>
    </dependency>
    <dependency>
      <groupId>com.fasterxml.jackson.core</groupId>
      <artifactId>jackson-databind</artifactId>
      <version>${jackson.version}</version>
    </dependency>
    <dependency>
      <groupId>com.fasterxml.jackson.datatype</groupId>
      <artifactId>jackson-datatype-jsr310</artifactId>
      <version>${jackson.version}</version>
    </dependency>
    <dependency>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-api</artifactId>
      <version>${slf4j.version}</version>
    </dependency>
    <dependency>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-simple</artifactId>
      <version>${slf4j.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>${hadoop.version}</version>
    </dependency>
    <dependency>
      <groupId>com.google.guava</groupId>
      <artifactId>guava</artifactId>
      <version>${guava.version}</version>
    </dependency>
    <dependency>
      <groupId>com.mysql</groupId>
      <artifactId>mysql-connector-j</artifactId>
      <version>${mysql.version}</version>
    </dependency>
    <dependency>
      <groupId>com.google.protobuf</groupId>
      <artifactId>protobuf-java</artifactId>
      <version>${protobuf.version}</version>
    </dependency>
  </dependencies>
  <build>
    <finalName>${artifactId}</finalName>
    <!--<outputDirectory>../package</outputDirectory>-->
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.13.0</version>
        <configuration>
          <!-- 设置编译字符编码 -->
          <encoding>utf-8</encoding>
          <!-- 设置编译jdk版本 -->
          <source>${jdk.version}</source>
          <target>${jdk.version}</target>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-clean-plugin</artifactId>
        <version>3.3.2</version>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-resources-plugin</artifactId>
        <version>3.3.1</version>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-jar-plugin</artifactId>
        <version>3.4.1</version>
      </plugin>
      <!-- 编译级别 -->
      <!-- 打包的时候跳过测试junit begin -->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-surefire-plugin</artifactId>
        <version>3.2.5</version>
        <configuration>
          <skip>true</skip>
        </configuration>
      </plugin>
    </plugins>
  </build>
</project>
李昊哲小课
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
MyBatis 从入门到精通
02-07
《MyBatis 从入门到精通》本书中从一个简单的 MyBatis 查询入手，搭建起学习 MyBatis 的基础开发环境。通过全面的示例代码和测试讲解了在 MyBatis XML 方式和注解方式中进行增、删、改、查操作的基本用法，介绍了动态 SQL 在不同方面的应用以及在使用过程中的最佳实践方案。针对 MyBatis 高级映射、存储过程和类型处理器提供了丰富的示例，通过自下而上的方法使读者更好地理解和掌握MyBatis 的高级用法，同时针对 MyBatis 的代码生成器提供了详细的配置介绍。此外，本书还提供了缓存配置、插件开发、Spring、Spring Boot 集成的详细内容。最后通过介绍 Git 和 GitHub 让读者了解MyBatis 开源项目，通过对 MyBatis 源码和测试用例的讲解让读者更好掌握 MyBatis。
MyBatis从入门到精通
热门推荐
桃李不言下自成蹊
07-15 32万+
MyBatis 是一款优秀的半自动的ORM持久层框架，它支持自定义 SQL、存储过程以及高级映射。 MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作。 MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO（Plain Old Java Objects，普通老式 Java 对象）为数据库中的记录。......
Linux
weixin_53233582的博客
04-04 1520
Linux 简介 Linux 是一种自由和开放源码的类 UNIX 操作系统。 Linux 英文解释为 Linux is not Unix。 Linux 是在 1991 由林纳斯·托瓦兹在赫尔辛基大学上学时创立的，主要受到 Minix 和 Unix 思想的启发。 Linux 内核最初只是由芬兰人林纳斯·托瓦兹（Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的。 Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 UNIX 的多用户、多任务、支持多线
hive3从入门到精通
桃李不言下自成蹊
04-18 7万+
拷贝hadoop/share/hadoop/common/lib目录中的 guava-27.0-jre.jar 到 hive/lib 目录。不要使用图形化 不然每次保存后3215行都会有个 特殊字符 如果产生删除即可 具体报错信息 后面有单独的描述。删除原有的 protobuf-java-2.5.0.jar 文件。删除 hive/lib目录中的 guava-19.0.jar。json serde 加载数据。临时表 temporary。外部表 external。
Sqoop 从入门到精通
桃李不言下自成蹊
04-27 6万+
Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如：MySQL，Oracle到Hadoop的HDFS，并从Hadoop的文件系统导出数据到关系数据库。传统的应用管理系统，也就是与关系型数据库的使用RDBMS应用程序的交互，是产生大数据的来源之一。这样大的数据，由关系数据库生成的，存储在关系数据库结构关系数据库服务器。
HDFS Java api 简单程序.zip
最新发布
01-10
HDFS Java API是开发人员与HDFS进行通信的主要接口，它提供了丰富的类和方法，使得在Java程序中读写HDFS文件变得简单易行。 首先，我们需要导入Hadoop的相关库。在Java项目中，确保你的`pom.xml`或`build.gradle`...
02--HDFS Java API操作.docx
03-18
HDFS Java API 操作 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大量数据。Java API 是 HDFS 的一个编程接口，允许开发者使用 Java 语言来操作 HDFS 中的文件和目录。本文将介绍...
HDFS JavaAPI
09-17
利用java api实现HDFS增删查改文件和文件目录,运行代码首先eclipse集成hadoop环境 maven项目pom.xml导入相关依赖
java操作Hadoop源码之HDFS Java API操作-上传文件
01-17
在Java编程环境中，Hadoop分布式文件系统（HDFS）提供了丰富的Java API，使得开发者能够方便地与HDFS进行交互，包括文件的上传、下载、读写等操作。本篇文章将详细探讨如何使用HDFS Java API来实现文件上传的功能。 ...
HDFSJavaAPI.tar.gz_HDFS JAVA API_hdfs
09-23
HDFS Java API是Hadoop提供的一套接口，允许开发者通过编写Java代码来与HDFS进行交互。以下是一些关键的HDFS Java API知识点： 1. **初始化HDFS客户端**：使用`Configuration`类配置HDFS连接参数，如NameNode地址。...
MyBatis 案例练习 SQL
07-15
MyBatis 案例练习 SQL
大数据Spark入门到精通v3.0版
04-10
001 - Spark框架 - 简介.avi 002 - Spark框架 - Vs Hadoop.avi 003 - Spark框架 - 核心模块 - 介绍.avi 005 - Spark框架 - 快速上手 - WordCount - 案例分析.avi 009 - Spark框架 - 快速上手 - WordCount - Spark的实现.avi 010 - Spark框架 - 快速上手 - WordCount - 日志和错误.avi 011 - Spark框架 - 运行环境 - 本地环境 - 基本配置和操作.avi 012 - Spark框架 - 运行环境 - 本地环境 - 提交应用程序.avi 013 - Spark框架 - 运行环境 - 独立部署环境 - 基本配置和操作.avi 015 - Spark框架 - 运行环境 - 独立部署环境 - 配置历史服务.avi 019 - Spark框架 - 核心组件 - 介绍.avi 020 - Spark框架 - 核心概念 - Executor & Core & 并行度.avi 023 - SparkCore - 分布式
HBase基础
桃李不言下自成蹊
05-06 6万+
在 HBase 表中，一条数据拥有一个全局唯一的键(RowKey)和任意数量的列(Column)，一列或多列组成一个列族(Column Family)，同一个列族中列的数据在物理上都存储在同一个 HFile 中，这样基于列存储的数据结构有利于数据缓存和查询。HBase Client 为用户提供了访问 HBase 的接口，可以通过元数据表来定位到目标数据的 RegionServer，另外 HBase Client 还维护了对应的 cache 来加速 Hbase 的访问，比如缓存元数据的信息。
Linux 正则表达式
桃李不言下自成蹊
07-01 7万+
不加引号：不会将含有空格的字符串视为一个整体输出, 如果内容中有命令、变量等，会先把变量、命令解析出结果，然后在输出最终内容来，如果字符串中带有空格等特殊字符，则不能完整的输出，需要改加双引号，一般连续的字符串，数字，路径等可以用。如果内容中有命令、变量等，会先把变量、命令解析出结果，然后在输出最终内容来。这时候 grep ‘"$HOME’‘的话，因为内容有单引号，第一个单引号会和倒数第二个单引号匹配，导致找不到正确内容，这里只能用双引号（如有单引号方法可以留言讨论），即grep “”$HOME’"。
presto 基本概念和架构
一蓑烟雨
03-09 2008
Presto是一款Facebook开源的MPP架构的OLAP查询引擎，可针对不同数据源执行大容量数据集的一款分布式SQL执行引擎。因为工作中接触到Presto，研究它对理解SQL Parser、常见算子的实现（如SQL中table scan,join,aggregation）、资源管理与调度、查询优化（如向量化执行、动态代码生成）、大数据下各个组件为何适用不同场景等等都有帮助。我希望通过这个系列可以了解一条SQL在大数据场景下该如何高效执行。233酱准备不定时持续更新这个系列，本文主要从Presto的使用举
阻止事件冒泡
桃李不言下自成蹊
09-16 22万+
这是阻止事件的冒泡方法，不止事件向document上蔓延，但是默认事件任然会执行，当你调用这个方法的时候，如果点击一个连接，这个连接仍然会被打开。 这是阻止默认事件的方法，调用此方法时，链接不会被打开，但是会发生冒泡，冒泡会传递到上一层的父元素。
老电脑安装Windows11完整记录
桃李不言下自成蹊
04-09 30万+
老电脑安装Windows11完整记录
Deepin UOS 使用脚本在线安装 Docker Portainer
桃李不言下自成蹊
08-18 24万+
Deepin UOS 使用脚本在线安装 Docker Portainer curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun sudo docker run -d -p 9000:9000 --restart=always -v /var/run/docker.sock:/var/run/docker.sock --name portainer-test portainer/portainer
Junit5单元测试的常用注解
u014496893的博客
01-08 824
JUnit5的注解与JUnit4的注解有所变化 https://junit.org/junit5/docs/current/user-guide/#writing-tests-annotations • @Test :表示方法是测试方法。但是与JUnit4的@Test不同，他的职责非常单一不能声明任何属性，拓展的测试将会由Jupiter提供额外测试 • @ParameterizedTest :表示方法是参数化测试，下方会有详细介绍 • @RepeatedTest :表示方法可重复执行，下方会有详细介绍 •
hdfs java api读入文件
05-16
使用HDFS Java API读取文件可以按照以下步骤进行： 1. 获取Hadoop配置对象和文件系统对象 ```java Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); ``` 2. 构建输入流对象 ```java Path inputPath = new Path("/path/to/your/input/file"); FSDataInputStream inputStream = fs.open(inputPath); ``` 3. 从输入流中读取数据 ```java byte[] buffer = new byte[1024]; int bytesRead = 0; while ((bytesRead = inputStream.read(buffer)) > 0) { // 处理数据，例如写入到输出流 } ``` 4. 关闭输入流 ```java inputStream.close(); ``` 完整代码示例： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.Path; import java.io.IOException; public class HdfsFileReader { public static void main(String[] args) throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path inputPath = new Path("/path/to/your/input/file"); FSDataInputStream inputStream = fs.open(inputPath); byte[] buffer = new byte[1024]; int bytesRead = 0; while ((bytesRead = inputStream.read(buffer)) > 0) { // 处理数据，例如写入到输出流 } inputStream.close(); } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

李昊哲小课

桃李不言下自成蹊

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值