使用Java API操作HDFS

了解HDFS Java API

HDFS常见类与接口

Hadoop整合了众多文件系统，HDFS只是这个文件系统的一个实例。

FileSystem的常用方法

FileSystem对象的一些方法可以对文件进行操作

 

编写Java程序访问HDFS

创建Maven项目

创建Maven项目 - HDFSDemo

单击【Finish】按钮

添加相关依赖

在pom.xml文件里添加hadoop和junit依赖

<dependencies>                                    
    <dependency>                                  
        <groupId>org.apache.hadoop</groupId>      
        <artifactId>hadoop-client</artifactId>    
        <version>3.3.4</version>                  
    </dependency>                                 
    <dependency>                                  
        <groupId>junit</groupId>                  
        <artifactId>junit</artifactId>            
        <version>4.13.2</version>                 
    </dependency>                                 
</dependencies>                                                      

 Maven Repository（Maven仓库）- https://mvnrepository.com/

若创建不成功

(6条消息) 安装配置Maven构建工具_howard2005的博客-CSDN博客

去这篇博客查看自己的配置是否一样 若不一样则改为一样

创建日志属性文件

log4j.rootLogger=stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

在resources目录里创建log4j.properties文件

启动集群HDFS服务

在主节点上执行命令：start-dfs.sh

在Hadoop WebUI界面查看

在HDFS上创建文件

创建net.hw.hdfs包，在包里创建CreateFileOnHDFS类

在HDFS上有/ied01目录，在该目录里创建hadoop.txt文件

package net.hw.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;


public class CreateFileOnHDFS {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义统一资源标识符
        String uri = "hdfs://master:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 创建文件
        boolean result = fs.createNewFile(path);
        // 判断文件是否创建成功
        if (result) {
            System.out.println("文件[" + path + "]创建成功！");
        } else {
            System.out.println("文件[" + path + "]创建失败！");
        }
    }
}

 注意：导包千万不要导错了

运行程序，查看结果

利用HDFS集群WebUI查看 

再次运行程序，由于hadoop.txt已经存在，此时会提示用户创建失败