HDFS Java API 案例

最新推荐文章于 2022-12-14 09:38:44 发布

S_ng

最新推荐文章于 2022-12-14 09:38:44 发布

阅读量207

点赞数

文章标签： java hdfs 大数据

本文链接：https://blog.csdn.net/weixin_52464817/article/details/125901318

版权

本文档介绍了如何使用HDFS Java API从HDFS文件系统读取文本内容。首先，创建了一个名为index.txt的本地文件并将其上传到HDFS的/tmp/tianliangedu/input.txt。接着，在Maven环境下配置项目，编写并运行代码实现文件读取。最后，将项目打包为jar文件并在Hadoop环境中部署运行，验证操作效果。

摘要由CSDN通过智能技术生成

操作需求

// hdfs dfs -cat /tmp/tianliangedu/input.txt

从hdfs文件/tmp/tianliangedu/input.txt中读取其文本内容，并打印出来。

2.步骤分解

3、操作实现

3.1 资源准备

本地新建文件index.txt，写入“HelloWorld Hadoop”内容，上传至HDFS文件系统的/tmp/tianliangedu/input.txt文件中。 hdfs dfs -copyFromLocal index.txt /tmp/tianliangedu/input.txt

3.2 Maven 环境搭建

Maven开发环境搭建，用Eclipse IDE工具，创建一个新的Maven项目。

3.3 Pom 配置依赖

<project xmlns="http://maven.apache.org/POM/4.0.0";xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance";xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd";>
   <modelVersion>4.0.0</modelVersion>
   <groupId>com.tianliangedu.course</groupId>
   <artifactId>TlHadoopCore</artifactId>
   <version>0.0.1-SNAPSHOT</version>
<properti