Hadoop大数据技术-java操作hdfs

最新推荐文章于 2024-07-07 14:17:46 发布
最新推荐文章于 2024-07-07 14:17:46 发布
阅读量913 收藏 13
点赞数 7
分类专栏： 大数据 Hadoop大数据技术 Hadoop 文章标签： hadoop 大数据 Hadoop大数据技术
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74394367/article/details/136693609
版权
本文详细描述了如何使用Java编程语言完成HDFS（Hadoop分布式文件系统）的基础操作，包括创建文件夹、删除文件、列出目录内容、文件详细信息查看、文件上传、下载、读取和追加，旨在帮助读者理解和实践HDFS的JavaAPI。
摘要由CSDN通过智能技术生成

一、实验目的：

1、使用java完成hdfs的相关操作

二、实验要求：

1、正确使用java对hdfs进行相关操作，解决以下问题

三、实验设备：

Windows电脑一台、VMware虚拟机、WindTerm终端模拟器、IntelliJ IDEA

四、实验过程及结果：

一、创建文件

1、代码

//创建文件
@Test
public static void testMkdirFile() throws URISyntaxException, IOException, InterruptedException {
    //连接的集群地址
    URI uri = new URI("hdfs://hadoop100:8020");
    //创建一个配置信息
    Configuration configuration = new Configuration();
    //用户
    String user = "hadoop";
    //获取到了客户端对象
    FileSystem fs = FileSystem.get(uri, configuration, user);
    //创建一个文件夹
    fs.mkdirs(new Path("/hadoop/wenjian"));
    //关闭资源
    fs.close();
}

2、结果

二、删除文件

1、代码

//删除文件
@Test
public static void testDeleteFile() throws Exception {
    //连接的集群地址
    URI uri = new URI("hdfs://hadoop100:8020");
    //创建一个配置信息
    Configuration configuration = new Configuration();
    //用户
    String user = "hadoop";
    //获取到了客户端对象
    FileSystem fs = FileSystem.get(uri, configuration, user);
    //删除一个文件，b:代表是否递归,true会删除指定文件夹及内容，false删除指定文件
    fs.delete(new Path("/hadoop/wenjian"), false);
    //关闭资源
    fs.close();
}

2、结果

三、列出根目录下所有文件

1、代码

//列出目录下文件
@Test
public static void testListFile() throws IOException, URISyntaxException, InterruptedException {
    //连接的集群地址
    URI uri = new URI("hdfs://hadoop100:8020");
    //创建一个配置信息
    Configuration configuration = new Configuration();
    //用户
    String user = "hadoop";
    //获取到了客户端对象
    FileSystem fs = FileSystem.get(uri, configuration, user);
    //获取目录状态
    FileStatus[] listStatus = fs.listStatus(new Path("/"));
    for (FileStatus list : listStatus) {//增强for循环遍历listStatus
        System.out.println(list.getPath().getName());
    }
    RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
    //递归列出该目录下所有文件，不包括文件夹，后面的布尔值为是否递归
    while (listFiles.hasNext()) {//如果listfiles里还有东西
        LocatedFileStatus next = listFiles.next();//得到下一个并pop出listFiles
        System.out.println(next.getPath().getName());//输出
    }
}

//列出目录下文件信息
@Test
public static void testDetailFile() throws URISyntaxException, IOException, InterruptedException {
    //连接的集群地址
    URI uri = new URI("hdfs://hadoop100:8020");
    //创建一个配置信息
    Configuration configuration = new Configuration();
    //用户
    String user = "hadoop";
    //获取到了客户端对象
    FileSystem fs = FileSystem.get(uri, configuration, user);
    // 获取迭代器对象("/"表示获取全部目录下的文件)
    RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
    while (listFiles.hasNext()) {
        LocatedFileStatus fileStatus = listFiles.next();
        System.out.println("文件权限:" + fileStatus.getPermission());
        System.out.println("文件所有者:" + fileStatus.getOwner());
        System.out.println("文件路径:" + fileStatus.getPath());
        System.out.println("文件内容长度:" + fileStatus.getLen());
        System.out.println("修改时间:" + fileStatus.getModificationTime());
        System.out.println("备份数:" + fileStatus.getReplication());
        System.out.println("文件块大小:" + fileStatus.getBlockSize());
        System.out.println("文件名:" + fileStatus.getPath().getName());
        // 获取该文件块的信息
        BlockLocation[] blockLocations = fileStatus.getBlockLocations();
        for (BlockLocation bl : blockLocations) {
            // 获取DataNodes的主机名
            String[] hosts = bl.getHosts();
            for (String host : hosts) {
                System.out.println(host);
            }
        }
        System.out.println();
    }
}

2、结果


四、上传文件

1、代码

//上传文件
@Test
public static void testCopyFromLocalFile() throws Exception {
    //连接的集群地址
    URI uri = new URI("hdfs://hadoop100:8020");
    //创建一个配置信息
    Configuration configuration = new Configuration();
    //用户
    String user = "hadoop";
    //获取到了客户端对象
    FileSystem fs = FileSystem.get(uri, configuration, user);
    //上传一个文件
    fs.copyFromLocalFile(new Path("D:/hadoop.txt"), new Path("/hadoop/wenjian"));
    //关闭资源
    fs.close();
}

2、结果

五、下载文件

1、代码

//下载文件
@Test
public static void testCopyToLocalFile() throws Exception {
    //连接的集群地址
    URI uri = new URI("hdfs://hadoop100:8020");
    //创建一个配置信息
    Configuration configuration = new Configuration();
    //用户
    String user = "hadoop";
    //获取到了客户端对象
    FileSystem fs = FileSystem.get(uri, configuration, user);
    //下载一个文件
    fs.copyToLocalFile(new Path("/hadoop/wenjian/hadoop.txt"), new Path("D:/test.txt"));
    //关闭资源
    fs.close();
}

2、结果


六、追加文件

1、代码

//追加文件
@Test
public static void testAppendFile() throws URISyntaxException, IOException, InterruptedException {
        // 相关配置
        Configuration conf = new Configuration();//加载配置文件，将配置文件放在src下
        {
            conf.setBoolean("dfs.support.append", true);
            conf.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER");
            conf.setBoolean("dfs.client.block.write.replace-datanode-on-failure.enable", true);
        }
        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.10.100"), conf, "hadoop100");//获取文件系统实例
        ObjectMapper objectMapper = new ObjectMapper();
        FSDataOutputStream output = null;
        output = fs.append(new Path("/hadoop/wenjian/hadoop.txt"));
//        MessageHeader listContent = null;
//        System.out.println(listContent.toString());
//        output.write(objectMapper.writeValueAsString(listContent).getBytes("UTF-8"));
        output.write(("\n"+"hello hbase").getBytes("UTF-8"));
//        output.write("\n".getBytes("UTF-8"));//换行
  }

2、结果

运行读文件


七、读文件

1、代码

//读文件
@Test
public static void testReadFile() throws Exception {
    //连接的集群地址
    URI uri = new URI("hdfs://hadoop100:8020");
    //创建一个配置信息
    Configuration configuration = new Configuration();
    //用户
    String user = "hadoop";
    //获取到了客户端对象
    FileSystem fs = FileSystem.get(uri, configuration, user);
    // 创建路径对象（指向目录或文件）
    Path path = new Path("/hadoop/wenjian/hadoop.txt");
    // 创建文件系统数据字节输入流对象
    FSDataInputStream in = fs.open(path);
    // 创建缓冲字符输入流对象，提高读取效率（字节流-->字符流-->缓冲流）
    BufferedReader br = new BufferedReader(new InputStreamReader(in));
    // 定义行字符串
    String nextLine = "";
    // 通过循环读取缓冲字符输入流
    while ((nextLine = br.readLine()) != null) {
        // 在控制台输出读取的行内容
        System.out.println(nextLine);
    }
    // 关闭缓冲字符输入流
    br.close();
    // 关闭文件系统数据字节输入流
    in.close();
    // 关闭文件系统
    fs.close();
}

2、结果

八、完整代码

package edu.sugon;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.htrace.fasterxml.jackson.databind.ObjectMapper;
import org.junit.Test;
import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;

public class HDFSOpt {
    //创建文件
    @Test
    public static void testMkdirFile() throws URISyntaxException, IOException, InterruptedException {
        //连接的集群地址
        URI uri = new URI("hdfs://hadoop100:8020");
        //创建一个配置信息
        Configuration configuration = new Configuration();
        //用户
        String user = "hadoop";
        //获取到了客户端对象
        FileSystem fs = FileSystem.get(uri, configuration, user);
        //创建一个文件夹
        fs.mkdirs(new Path("/hadoop/wenjian"));
        //关闭资源
        fs.close();
    }

    //删除文件
    @Test
    public static void testDeleteFile() throws Exception {
        //连接的集群地址
        URI uri = new URI("hdfs://hadoop100:8020");
        //创建一个配置信息
        Configuration configuration = new Configuration();
        //用户
        String user = "hadoop";
        //获取到了客户端对象
        FileSystem fs = FileSystem.get(uri, configuration, user);
        //删除一个文件，b:代表是否递归,true会删除指定文件夹及内容，false删除指定文件
        fs.delete(new Path("/hadoop/wenjian"), false);
        //关闭资源
        fs.close();
    }

    //列出目录下文件
    @Test
    public static void testListFile() throws IOException, URISyntaxException, InterruptedException {
        //连接的集群地址
        URI uri = new URI("hdfs://hadoop100:8020");
        //创建一个配置信息
        Configuration configuration = new Configuration();
        //用户
        String user = "hadoop";
        //获取到了客户端对象
        FileSystem fs = FileSystem.get(uri, configuration, user);
        //获取目录状态
        FileStatus[] listStatus = fs.listStatus(new Path("/"));
        for (FileStatus list : listStatus) {//增强for循环遍历listStatus
            System.out.println(list.getPath().getName());
        }
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
        //递归列出该目录下所有文件，不包括文件夹，后面的布尔值为是否递归
        while (listFiles.hasNext()) {//如果listfiles里还有东西
            LocatedFileStatus next = listFiles.next();//得到下一个并pop出listFiles
            System.out.println(next.getPath().getName());//输出
        }
    }

    //列出目录下文件信息
    @Test
    public static void testDetailFile() throws URISyntaxException, IOException, InterruptedException {
        //连接的集群地址
        URI uri = new URI("hdfs://hadoop100:8020");
        //创建一个配置信息
        Configuration configuration = new Configuration();
        //用户
        String user = "hadoop";
        //获取到了客户端对象
        FileSystem fs = FileSystem.get(uri, configuration, user);
        // 获取迭代器对象("/"表示获取全部目录下的文件)
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
        while (listFiles.hasNext()) {
            LocatedFileStatus fileStatus = listFiles.next();
            System.out.println("文件权限:" + fileStatus.getPermission());
            System.out.println("文件所有者:" + fileStatus.getOwner());
            System.out.println("文件路径:" + fileStatus.getPath());
            System.out.println("文件内容长度:" + fileStatus.getLen());
            System.out.println("修改时间:" + fileStatus.getModificationTime());
            System.out.println("备份数:" + fileStatus.getReplication());
            System.out.println("文件块大小:" + fileStatus.getBlockSize());
            System.out.println("文件名:" + fileStatus.getPath().getName());
            // 获取该文件块的信息
            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
            for (BlockLocation bl : blockLocations) {
                // 获取DataNodes的主机名
                String[] hosts = bl.getHosts();
                for (String host : hosts) {
                    System.out.println(host);
                }
            }
            System.out.println();
        }
    }
    
    //上传文件
    @Test
    public static void testCopyFromLocalFile() throws Exception {
        //连接的集群地址
        URI uri = new URI("hdfs://hadoop100:8020");
        //创建一个配置信息
        Configuration configuration = new Configuration();
        //用户
        String user = "hadoop";
        //获取到了客户端对象
        FileSystem fs = FileSystem.get(uri, configuration, user);
        //上传一个文件
        fs.copyFromLocalFile(new Path("D:/hadoop.txt"), new Path("/hadoop/wenjian"));
        //关闭资源
        fs.close();
    }

    //下载文件
    @Test
    public static void testCopyToLocalFile() throws Exception {
        //连接的集群地址
        URI uri = new URI("hdfs://hadoop100:8020");
        //创建一个配置信息
        Configuration configuration = new Configuration();
        //用户
        String user = "hadoop";
        //获取到了客户端对象
        FileSystem fs = FileSystem.get(uri, configuration, user);
        //下载一个文件
        fs.copyToLocalFile(new Path("/hadoop/wenjian/hadoop.txt"), new Path("D:/test.txt"));
        //关闭资源
        fs.close();
    }

    //读文件
    @Test
    public static void testReadFile() throws Exception {
        //连接的集群地址
        URI uri = new URI("hdfs://hadoop100:8020");
        //创建一个配置信息
        Configuration configuration = new Configuration();
        //用户
        String user = "hadoop";
        //获取到了客户端对象
        FileSystem fs = FileSystem.get(uri, configuration, user);
        // 创建路径对象（指向目录或文件）
        Path path = new Path("/hadoop/wenjian/hadoop.txt");
        // 创建文件系统数据字节输入流对象
        FSDataInputStream in = fs.open(path);
        // 创建缓冲字符输入流对象，提高读取效率（字节流-->字符流-->缓冲流）
        BufferedReader br = new BufferedReader(new InputStreamReader(in));
        // 定义行字符串
        String nextLine = "";
        // 通过循环读取缓冲字符输入流
        while ((nextLine = br.readLine()) != null) {
            // 在控制台输出读取的行内容
            System.out.println(nextLine);
        }
        // 关闭缓冲字符输入流
        br.close();
        // 关闭文件系统数据字节输入流
        in.close();
        // 关闭文件系统
        fs.close();
    }

    //追加文件
    @Test
    public static void testAppendFile() throws URISyntaxException, IOException, InterruptedException {
        // 相关配置
        Configuration conf = new Configuration();//加载配置文件，将配置文件放在src下
        {
            conf.setBoolean("dfs.support.append", true);
            conf.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER");
            conf.setBoolean("dfs.client.block.write.replace-datanode-on-failure.enable", true);
        }
        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.10.100"), conf, "hadoop100");//获取文件系统实例
        ObjectMapper objectMapper = new ObjectMapper();
        FSDataOutputStream output = null;
        output = fs.append(new Path("/hadoop/wenjian/hadoop.txt"));
//        MessageHeader listContent = null;
//        System.out.println(listContent.toString());
//        output.write(objectMapper.writeValueAsString(listContent).getBytes("UTF-8"));
        output.write(("\n"+"hello hbase").getBytes("UTF-8"));
//        output.write("\n".getBytes("UTF-8"));//换行
    }

    public static void main( String[] args ) throws Exception {
        //创建文件
//        testMkdirFile();
        //删除文件
//        testDeleteFile();
        //列出目录下文件
//        testListFile();
        //列出目录下文件信息
//        testDetailFile();
        //上传文件
//        testCopyFromLocalFile();
        //下载文件
//        testCopyToLocalFile();
        //读文件
        testReadFile();
        //追加文件
//        testAppendFile();
    }
}

五、实验心得：

该实验通过使用JavaApi对hdfs中的文件进行了创建、删除、上传、下载、读取、追加以及列出目录下的文件的基本操作，使我们对其有了进一步的了解。

呆呆小板栗
关注
  • 7
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java操作hadoop_Hadoop学习笔记（三）：java操作Hadoop
weixin_31052141的博客
02-12 2548
1.启动hadoop服务。2.hadoop默认将数据存储带/tmp目录下，如下图：由于/tmp是linux的临时目录，linux会不定时的对该目录进行清除，因此hadoop可能就会出现意外情况。下面对这个配置进行修改。修改core-site.xml文件vim /usr/local/hadoop/etc/hadoop/core-site.xml将这个值修改到/var/hadoop目录下3.修改...
java操作hdfs
qq_58243412的博客
04-24 1929
在本地配置环境变量 在官网下载一个与服务器上的hadoop同样的版本包（或许可以不是同一个版本） 配置环境变量 导入maven配置文件 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.1.3</versi
Hadoop学习总结（使用Java API操作HDFS）
2202_75688394的博客
11-10 3404
使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。
大数据技术之Hadoop（HDFS）
我从不打没有准备的仗！
02-28 2995
大数据技术之Hadoop（HDFS）
使用Hadoop构建Java大数据分析平台
最新发布
技术研究中心
07-07 332
通过搭建Hadoop集群、编写MapReduce程序以及部署和运行示例WordCount程序，读者可以初步了解在Hadoop环境下实现大数据分析的基本流程和步骤。在搭建Java大数据分析平台之前，首先需要搭建Hadoop环境。在Hadoop集群搭建完成后，可以使用Java编写MapReduce程序来实现大数据分析任务。上述代码实现了一个简单的WordCount程序，用于统计文本文件中每个单词出现的次数。大家好，我是微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！
Java操作HDFS
qwer2001727的博客
04-24 1924
准备工作: Hadoop环境变量配置 jdk环境变量配置 不详细演讲 下面直接演示代码:(如下) import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.junit.Before; import java.io.File; import java.io.FileOutputStream; import ja
Java操作Hdfs
CJunZero的博客
04-24 1522
java代码 package cn.itcast.hadoop.hdfs; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import
Hadoop大数据技术-pig操作
06-04
在大数据处理领域，Hadoop是一个不可或缺的开源框架，它提供了分布式存储和计算的能力，使得海量数据的处理变得可能。...在实际应用中，理解并熟练掌握Pig的各种操作对于提升大数据处理能力至关重要。
大数据-java操作HDFS基本操作
11-21
在大数据领域，Java被广泛用于开发和操作分布式文件系统，如Hadoop的HDFS（Hadoop Distributed File System）。本文将详细讲解如何使用Java API进行HDFS的基本操作，包括增、删、查等常见任务。 首先，理解HDFS是至...
java对大数据HDFS文件操作
04-04
java对大数据HDFS文件操作jar包和maven2个项目,有jar包,有依赖,2个项目呦
Hadoop大数据技术-实验1-熟悉常用的 Linux 操作和 Hadoop .docx
05-30
### Hadoop大数据技术-实验1-熟悉常用的 Linux 操作和 Hadoop #### 实验背景与目标 随着大数据技术的发展，Hadoop作为主流的大数据处理框架之一，在数据分析领域扮演着极其重要的角色。由于Hadoop主要运行在Linux...
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
本实验主要涵盖了大数据技术的基础，特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统（HDFS）进行操作。实验涉及的主要步骤包括Eclipse的安装、Java项目的创建以及所需JAR包的添加。 首先，Eclipse是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值