HDFS是存取数据的分布式文件系统,HDFS文件操作常有两种方式。
一种是命令行方式,即Hadoop提供了一套与Linux文件命令类似的命令行工具。
另一种是JavaAPI,即利用Hadoop的Java库,采用编程的方式操作HDFS的文件。
新建maven项目,添加hadoop相关jar包
1.配置pom.xml文件
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>3.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>3.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client