HDFS Java API 基本操作实验

已于 2023-12-08 17:23:38 修改
阅读量366 收藏 1
点赞数
文章标签： hdfs hadoop
于 2023-12-08 11:50:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bjyxszd_YYDS/article/details/134870396
版权

文章目录

一、实验环境

  • 本实验主要涉及到了4台虚拟机，其中1台虚拟机的操作系统是ubuntu desktop，另外3台虚拟机的操作系统是centos server。

在这里插入图片描述
本实验已经搭建好了Hadoop HA的完全分布式集群
在这里插入图片描述

二、实验内容

  • 我们将一同探讨数据处理中至关重要的一环——Hadoop文件系统（HDFS）的操作。我们将分为四个主要部分，分别是数据准备、编程环境准备、使用Hadoop API操作HDFS文件系统以及使用Hadoop API结合Java IO流进行操作。

（一）数据准备

  • 在进行任何数据处理之前，充分准备好数据是至关重要的一步。这一部分将介绍数据准备的重要性，以及如何有效地准备数据以供后续处理使用。

（二）编程环境准备

  • 在进行HDFS文件系统的操作之前，我们需要确保我们的编程环境已经得到了妥善的准备。这包括获取文件系统、配置集群环境等步骤，确保我们的操作能够在集群上运行。

（三）使用Hadoop API操作HDFS文件系统

  • 这一部分是我们的重头戏，我们将使用Hadoop API进行各种文件系统的操作。从创建目录到上传、下载、删除文件，再到列出指定路径下的文件和目录，我们将一一演示如何使用Hadoop API轻松地完成这些操作。同时，我们也会分享一些辅助代码，使大家更好地理解和应用这些操作。

（四）使用Hadoop API + Java IO流操作HDFS文件系统

  • 在这一部分，我们将进一步深入，结合Java IO流，展示如何通过IO流上传、读取和下载文件。这将为大家提供更多的灵活性和掌握文件系统操作的技能。

  • 本次实验帮助大家更好地理解和应用Hadoop文件系统的操作，使大家能够在实际工作中更加得心应手。接下来，我们将深入到各个部分，让我们一同来探索这个数据处理的世界吧！

三、实验步骤

（一）数据准备

  • 在desktop节点打开终端
    在这里插入图片描述

  • 切换到/opt目录
    在这里插入图片描述

  • 创建数据文件data.txt
    在这里插入图片描述

  • 创建数据文件localFile.txt
    在这里插入图片描述

  • 下载日志属性文件，执行命令：wget 192.168.192.81:8086/api/web/resource/bigdata/Hadoop_Base/06/expPackages/log4j.properties
    在这里插入图片描述

  • 下载Hadoop核心配置文件core-site.xml，执行命令：wget 192.168.192.81:8086/api/web/resource/bigdata/Hadoop_Base/06/expPackages/core-site.xml
    在这里插入图片描述

  • 下载Hadoop分布式文件系统配置文件hdfs-site.xml，执行命令：wget 192.168.192.81:8086/api/web/resource/bigdata/Hadoop_Base/06/expPackages/hdfs-site.xml

  • 在这里插入图片描述

（二）编程环境准备

1、启动IDEA

  • 在desktop节点上启动IDEA
    在这里插入图片描述

  • 勾选用户协议
    在这里插入图片描述

  • 单击【Continue】按钮

在这里插入图片描述

2、创建Maven项目

  • 单击欢迎窗口中的【New Project】按钮，在左边栏里选择【Maven】类型
    在这里插入图片描述

  • 单击【Next】按钮，在对话框里设置项目名称、位置、组标识和构件标识
    在这里插入图片描述

  • 单击【Finish】按钮，在弹出的【Tip of the Day】消息框里勾选【Don’t show tips】复选框
    在这里插入图片描述

  • 单击【Close】按钮，看到一个空的Maven项目
    在这里插入图片描述

3、添加项目依赖

  • 在pom.xml文件里添加相关依赖

在这里插入图片描述

<dependencies>                                        
    <dependency>                                      
        <groupId>org.apache.hadoop</groupId>          
        <artifactId>hadoop-common</artifactId>        
        <version>2.7.6</version>                      
    </dependency>                                     
    <dependency>                                      
        <groupId>org.apache.hadoop</groupId>          
        <artifactId>hadoop-client</artifactId>        
        <version>2.7.6</version>                      
    </dependency>                                     
    <dependency>                                      
        <groupId>org.apache.hadoop</groupId>          
        <artifactId>hadoop-hdfs</artifactId>          
        <version>2.7.6</version>                      
    </dependency>                                     
    <dependency>                                      
        <groupId>junit</groupId>                      
        <artifactId>junit</artifactId>                
        <version>4.10</version>                       
    </dependency>                                     
    <dependency>                                      
        <groupId>org.apache.logging.log4j</groupId>   
        <artifactId>log4j-core</artifactId>           
        <version>2.8.2</version>                      
    </dependency>                                     
</dependencies>

（三）使用Hadoop API操作HDFS文件系统

1、获取文件系统并配置在集群上运行

2、创建目录

3、上传文件

4、下载文件

5、删除文件/目录

6、列出指定路径下的文件和目录

7、辅助代码

（1）hadoop-common (org.apache.hadoop:hadoop-common:2.7.6)
  • 作用： 提供Hadoop的通用库和工具，包括文件系统操作、配置管理等。
  • 详细说明： 这是Hadoop的核心库，包含了许多通用的类和工具，用于支持Hadoop分布式文件系统（HDFS）和分布式计算。
（2）hadoop-client (org.apache.hadoop:hadoop-client:2.7.6)
  • 作用： 提供Hadoop的客户端库，支持与Hadoop集群进行交互。
    详细说明： 包含Hadoop客户端的相关类，用于在应用程序中与Hadoop集群通信，提交作业等。
（3）hadoop-hdfs (org.apache.hadoop:hadoop-hdfs:2.7.6)
  • 作用： 提供Hadoop分布式文件系统（HDFS）的支持。
    详细说明： 包含了HDFS相关的类，用于进行文件系统的读写操作，支持分布式存储和文件管理。
（4）junit (junit:junit:4.10)
  • 作用： 提供Java单元测试的支持。
  • 详细说明： JUnit是一个广泛用于Java项目的测试框架，用于编写和运行单元测试。
（5）log4j-core (org.apache.logging.log4j:log4j-core:2.8.2)

  • 作用： 提供Log4j日志框架的核心功能。

  • 详细说明： Log4j是一个用于Java应用程序的灵活的日志框架，log4j-core包含了其核心的日志处理功能。

  • 中慧教学实训平台提供了文件的上传和下载功能
    在这里插入图片描述

  • CentOS上Maven项目本地仓库默认位置（用户主目录/.m2/repository）

在这里插入图片描述

  • 刷新项目依赖
    在这里插入图片描述

  • 刷新之后，多一个Dependencies项

在这里插入图片描述

  • 查看项目依赖的外部库（External Libraries）
    在这里插入图片描述

4、添加资源文件

  • 将/opt目录里的core-site.xml、hdfs-site.xml、log4j.properties文件拷贝到项目的resources目录
    在这里插入图片描述
    在这里插入图片描述

5、创建包
在src/main/java里创建net.huawei.usehdfs包
在这里插入图片描述

（三）使用Hadoop API操作HDFS文件系统

1、获取文件系统并配置在集群上运行

  • 在net.huawei.usehdfs包里创建HDFSBase类
    在这里插入图片描述

  • 导入程序所需要的包
    在这里插入图片描述

  • 创建init()方法，获取在集群上运行的文件系统
    在这里插入图片描述

  • 运行init()方法
    在这里插入图片描述

  • 在控制台查看结果
    在这里插入图片描述

2、创建目录

  • 创建testMkdirs()方法
    在这里插入图片描述

  • 由于每次对于HDFS文件系统的操作都需要获取文件系统并配置在集群上运行，因此需要将上一个功能代码中的@Test修改为@Before，并将System.out.printIn(fileSystem);语句注释掉。
    在这里插入图片描述

  • 运行testMkdirs()方法，查看控制台结果

  • 在Hadoop WebUI上查看创建的目录

  • 利用HDFS Shell命令hdfs dfs -ls -R /查看
    在这里插入图片描述

3、上传文件

  • 创建testCopyFromLocal()方法
    在这里插入图片描述

- testCopyFromLocal()方法，查看结果
在这里插入图片描述

  • 查看上传的文件内容
    在这里插入图片描述

4、下载文件

  • 创建testCopyToLocal()方法
    在这里插入图片描述

  • 运行testCopyToLocal()方法，查看结果
    在这里插入图片描述

  • 在desktop节点上查看下载的文件

在这里插入图片描述

  • 在desktop节点上查看下载的文件内容

在这里插入图片描述

5、删除文件/目录

  • 创建testDeleteFile()方法，删除/idea/mkdir/directory/data.txt文件
    在这里插入图片描述

  • 运行testDeleteFile()方法，查看结果
    在这里插入图片描述

  • 查看/idea/mkdir/directory/data.txt文件，报错说文件不存在

在这里插入图片描述

修改代码，删除/idea/mkdir/directory目录
在这里插入图片描述

运行testDeleteFile()方法，查看结果

在这里插入图片描述

查看/idea/mkdir/directory目录，报错说目录不存在
在这里插入图片描述

6、列出指定路径下的文件和目录

  • 创建testListAllStatus()方法
    在这里插入图片描述

  • 运行testListAllStatus()方法，查看结果
    在这里插入图片描述

  • 上传anaconda-ks.cfg到HDFS根目录
    在这里插入图片描述

  • 运行testListAllStatus()方法，查看结果
    在这里插入图片描述

7、查看完整代码

package net.huawei.usehdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;

public class HDFSBase {

    private FileSystem fileSystem;
    private Configuration configuration;

    /**
     * 获取文件系统并配置在集群上运行
     * @throws IOException
     * @throws InterruptedException
     */
    @Before
    public void init() throws IOException, InterruptedException {
        //1、获取文件系统
        configuration = new Configuration();
        //2、配置在集群上运行
        String uri = "hdfs://mycluster:8020";
        fileSystem = FileSystem.get(URI.create(uri), configuration, "root");
        //System.out.println(fileSystem);
    }

    /**
     * 创建目录
     * @throws IOException
     */
    @Test
    public void testMkdirs() throws IOException {
        //3、创建目录
        Path path = new Path("/idea/mkdir/directory");
        fileSystem.mkdirs(path);
        fileSystem.close();
    }

    /**
     * 上传文件
     * @throws IOException
     */
    @Test
    public void testCopyFromLocal() throws IOException {
        //3、从本地上传文件到hdfs文件系统
        // Path src 要上传的文件的路径（本地文件系统中的路径）
        Path src = new Path("/opt/data.txt");
        // Path dst 将文件上传到的路径（hdfs文件系统中的路径）
        Path dst = new Path("/idea/mkdir/directory");
        fileSystem.copyFromLocalFile(src, dst);
        fileSystem.close();
        System.out.println("文件上传成功～" + dst.toString() + "/" + src.getName());
    }

    /**
     * 下载文件
     * @throws IOException
     */
    @Test
    public void testCopyToLocal() throws IOException {
        //3、从hdfs文件系统将文件下载到本地
        // Path src 文件在hdfs文件系统中的路径（hdfs文件系统中的路径）
        Path src = new Path("/idea/mkdir/directory/data.txt");
        // Path dst 要下载的文件的路径（本地文件系统中的路径）
        Path dst = new Path("/usr/local/src/data.txt");
        fileSystem.copyToLocalFile(src, dst);
        fileSystem.close();
        System.out.println("文件下载成功～" + dst.toString());
    }

    /**
     * 删除文件/目录
     * @throws IOException
     */
    @Test
    public void testDeleteFile() throws IOException {
        //3、删除hdfs文件系统中的文件或目录
        Path path = new Path("/idea/mkdir/directory");
        //判断是否是目录
        boolean directory = fileSystem.isDirectory(path);
        //判断是否是文件
        boolean file = fileSystem.isFile(path);
        //如果是目录，则删除目录
        if(directory){
            boolean deleteDirectory = fileSystem.delete(path, true);
            if(deleteDirectory){
                System.out.println("该路径是个目录，删除目录成功！");
            }
        }
        //如果是文件，则删除文件
        if(file){
            boolean deleteFile = fileSystem.delete(path, true);
            if(deleteFile) {
                System.out.println("该路径是个文件，删除文件成功！");
            }
        }
        fileSystem.close();
    }

    /**
     * 列出指定路径下的文件和目录
     * @throws IOException
     */
    @Test
    public void testListAllStatus() throws IOException {
        //3、列出hdfs文件系统中指定路径下所有的目录和文件
        Path path = new Path("/");
        FileStatus[] fileStatuses = fileSystem.listStatus(path);
        for (FileStatus fileStatus : fileStatuses) {
            //如果是文件，则输出文件
            if(fileStatus.isFile()){
                System.out.println("文件："+fileStatus.getPath().getName());
            }
            //如果是目录，则输出目录
            if(fileStatus.isDirectory()){
                System.out.println("目录："+fileStatus.getPath().getName());
            }
        }
        fileSystem.close();
    }
}

（四）使用Hadoop API + Java IO流操作HDFS文件系统

1、获取文件系统并配置在集群上运行

2、上传文件（IO流）

3、读取文件（IO流）

4、下载文件（IO流）

5、辅助代码

好运莲莲！
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop学习笔记（一）：HDFS分布式文件系统(从环境搭建到Java API)-附件资源
03-02
Hadoop学习笔记（一）：HDFS分布式文件系统(从环境搭建到Java API)-附件资源
java操作Hadoop源码之HDFS Java API操作-上传文件
01-17
java操作Hadoop源码之HDFS Java API操作-上传文件，附带所需全部jar包，欢迎下载学习。
Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学
最新发布
2401_84415708的博客
04-18 917
分享一套我整理的面试干货，这份文档结合了我多年的面试官经验，站在面试官的角度来告诉你，面试官提的那些问题他最想听到你给他的回答是什么，分享出来帮助那些对前途感到迷茫的朋友。
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
大数据技术基础实验报告-调用Java API实现HDFS操作
使用Java Api操作HDFS过程详解
08-25
主要介绍了使用Java Api操作HDFS过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
使用Java API操作HDFS分布式文件系统
04-11
分布式文件系统hdfs 使用Java API操作HDFS分布式文件系统
Hadoop hdfs文件操作，mr demo,topN demo
01-20
Hadoop hdfs文件操作，单词统计MR代码 demo,topN求解编程代码 demo
HDFS分布式文件系统（2）Java API操作HDFS
Kox_233的博客
12-06 1911
Java API操作HDFS
Educoder 分布式文件系统HDFS
weixin_45318814的博客
12-27 5576
第1关：HDFS的基本操作 开启hdfs start-hdfs.sh 在HDFS中创建/usr/output/文件夹； hdfs dfs -mkdir -p /usr/output 在本地创建hello.txt文件并添加内容：HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。(标点符号为中文标点，敲击成英文标点会报错) vim /usr/output/hello.txt 将hello.txt上传至HDFS的/usr/output/目录下； hdfs dfs -put hello.txt /usr/out
【头歌】大数据从入门到实战 - 第2章 分布式文件系统HDFS
热门推荐
qq_46048008的博客
04-21 1万+
在右侧命令行中启动Hadoop，进行如下操作。 在HDFS中创建/usr/output/文件夹； 在本地创建hello.txt文件并添加内容：“HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。”； 将hello.txt上传至HDFS的/usr/output/目录下； 删除HDFS的/user/hadoop目录； 将Hadoop上的文件hello.txt从HDFS复制到本地/usr/local目录。
JAVA操作HDFS集群
m0_56369204的博客
06-25 2008
本文介绍了使用Java操作HDFS集群的方法，具体的操作包括创建目录、删除文件、移动与重命名文件、查询文件信息以及文件的上传和下载等。通过示例代码和截图展示了每个操作的实际效果，帮助读者理解和使用HDFS安全模式和相关操作。
实验二、HDFS shell操作及HDFS Java API编程
04-10
适合刚接触hadoop的学生或小白，内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
实验2 熟悉常用的HDFS操作
10-13
实验目的 （1）理解HDFS在Hadoop体系结构中的角色； （2）熟练使用HDFS操作常用的Shell命令； （3）熟悉HDFS操作常用的Java API。
实验二：熟悉常用的HDFS操作
05-05
A.2实验二:熟悉常用的HDFS操作 ...(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1）操作系统:Linux(建议Ubuntu 16.04）。(2) Hadoop版本:2.7.1。 (3）JDK版本:1.7或以上版本。(4) Java IDE:Eclipse。
Hadoop系统应用之java-API对HDFS的操作实验缺少的两个文件
04-10
Hadoop系统应用之java-API对HDFS的操作实验缺少的两个文件
HDFS利用JavaAPI进行文件读写
qq_41975699的博客
12-10 2332
1.cdh版jar包导入地址: https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo.html https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_ma...
云计算实验 HDFS编程
wow_awsl_qwq的博客
12-07 4717
【实验作业1】自己动手实现HDFS Shell 基于已经学习到的Hadoop API编程知识，自己动手实现一个简单的HDFS Shell程序，程序名称为HShell，要求能够支持以下功能： 1.使用HShell -cp 本地路径 HDFS路径，将文件从Linux本地文件系统拷贝到HDFS指定路径上。 2.使用HShell -rm 路径删除文件 3.使用HShell -rm -r 路径删除目录 4.使用HShell -cp -r 本地目录路径 HDFS路径，将目录从Linux本地拷贝到HDFS指定路径上。 5
云计算 - 2 - HDFS文件系统的基本操作
SYSU_Zhiyuan
11-10 812
1、HDFS 文件系统命令行操作，包括加入、修改、更新和删除 HDFS 文件系统中的文件。 2、利用 Java 开发 HDFS 文件系统应用程序，使用 HDFS Java API 接口读写 HDFS 文件系统中的文件。
头歌Educoder云计算与大数据——实验五 Java API分布式存储
36.6°博客
11-05 5637
实验五 Java API分布式存储1. 利用shell把电商数据上传到HDFS任务描述相关知识HDFS shell常见命令编程要求测试说明代码实现第2关：利用Java API把电商数据上传到HDFS任务描述相关知识常用 HDFS Java接口的使用编程要求测试说明代码实现 1. 利用shell把电商数据上传到HDFS 任务描述 原始电商数据都是存储在关系型数据库或 NoSQL 数据库上的，是面向OLTP(联机事务处理过程)的；数据都是面向业务的，而不是面向分析。因此数据比较复杂，表很多关联的数据是分散的，不
头歌 大数据系统及应用-HDFS实训
06-06
对于HDFS实训，一般包括以下内容： 1. HDFS的安装和部署； 2. HDFS的基本命令和操作； 3. HDFS的数据备份和恢复； 4. HDFS的数据块大小和副本数的设置； 5. HDFS的高可用性和负载均衡； 6. HDFS的性能优化和调优； 7. HDFS的安全性设置和权限控制。 在实训过程中，一般会涉及到使用Hadoop生态系统中的其他工具，如MapReduce、Hive、Pig等，以及对HDFS进行数据分析和处理等应用场景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值