java实现hdfs文件读写

最新推荐文章于 2024-07-25 16:52:43 发布

爱装无辜的小点点

最新推荐文章于 2024-07-25 16:52:43 发布

阅读量1.2k

点赞数

文章标签： hadoop

本文链接：https://blog.csdn.net/wl20040124/article/details/115004101

版权

本文档详细介绍了如何使用Java Maven工程进行HDFS文件的读取和写入操作。首先，通过新建Maven工程并配置pom.xml文件来搭建环境。接着，编写Java代码实现文件的读写功能。然后，将项目打包成jar，并在虚拟机中通过hadoop命令执行jar包，完成文件在HDFS上的操作。最后，讲解了如何通过args[]数组传递参数给Java程序。

摘要由CSDN通过智能技术生成

Java实现hdfs文件读写

一、创建java maven工程对hdfs文件进行读取
二、jar包打包
三、args[]传参方法

一、创建java maven工程对hdfs文件进行读取

1、新建maven工程

新建maven工程，选择quickstart方式
在这里插入图片描述
填写文件路径名及工程命

选择maven版本，并选择本机maven中的setting.xml

新建之后，选择enable自动导入包

2、修改pom.xml

在这里插入图片描述

 <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
      <scope>test</scope>
    </dependency