大数据-使用Java API操作HDFS

没123456

已于 2022-12-13 11:03:55 修改

阅读量2.1k

点赞数

文章标签： hdfs 大数据 java

于 2022-12-07 11:42:13 首次发布

本文链接：https://blog.csdn.net/m0_62492032/article/details/128120939

版权

本文介绍了如何使用Java API访问HDFS，包括创建Maven项目，添加Hadoop依赖，创建并操作HDFS文件，如创建、写入、读取、重命名、显示文件列表、获取文件块信息、创建目录、判断文件和目录的存在及类型，以及删除文件和目录等操作。详细步骤和实例代码展示了整个过程。

摘要由CSDN通过智能技术生成

一、编写Java程序访问HDFS

1、创建Maven项目

创建Maven项目 - HDFSDemo
在这里插入图片描述

2、添加相关依赖

在pom.xml文件里添加hadoop和junit依赖在这里插入图片描述

<dependencies>             
    <!--hadoop客户端-->                       
    <dependency>                                  
        <groupId>org.apache.hadoop</groupId>      
        <artifactId>hadoop-client</artifactId>    
        <version>3.3.4</version>                  
    </dependency>     
    <!--单元测试框架-->                            
    <dependency>                                  
        <groupId>junit</groupId>                  
        <artifactId>junit</artifactId>            
        <version>4.13.2</version>                 
    </dependency>                                 
</dependencies>

3、创建日志属性文件

在resources目录里创建log4j.properties文件
在这里插入图片描述

log4j.rootLogger=stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4、启动集群HDFS服务

在主节点上执行命令：start-dfs.sh
在这里插入图片描述

在Hadoop WebUI界面查看
在这里插入图片描述

5、在HDFS上创建文件

在HDFS Shell里利用hdfs dfs -touchz命令可以创建时间戳文件

任务：在/ied01目录创建hadoop.txt文件

创建net.hf.hdfs包，在包里创建CreateFileOnHDFS类
在这里插入图片描述

编写create1()方法
在这里插入图片描述

package net.hf.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

/**
 * 功能：在HDFS上创建文件
 * 作者：hf
 * 日期：2022年11月25日
 */
public class CreateFileOnHDFS {
   
    @Test
    public void create1() throws Exception {
   
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://master:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 基于路径对象创建文件
        boolean result = fs.createNewFile(path);
        // 根据返回值判断文件是否创建成功
        if (result