springboot hdfs操作工具类

最新推荐文章于 2024-03-29 01:55:15 发布
最新推荐文章于 2024-03-29 01:55:15 发布
阅读量68 收藏
点赞数
文章标签： 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61436860/article/details/134012898
版权
  1. 导入依赖
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.3</version>
        </dependency>
  1. 下载winutils.exe，并配置环境变量
GitHub - srccodes/hadoop-common-2.2.0-bin: hadoop-common-2.2.0/bin
HADOOP_HOME:文件所在目录\hadoop-common-2.2.0-bin-master\bin
  1. 加入hdfs配置信息
hdfs:
  path: hdfs://localhost:9000
  username: hadoop01
  1. 编写代码
package com.iproinfo.refinedanalysis.service;

import org.apache.hadoop.fs.BlockLocation;
import org.springframework.web.multipart.MultipartFile;

import java.util.List;
import java.util.Map;

public interface HdfsService {

    boolean mkdir(String path) throws Exception;

    boolean existFile(String path) throws Exception;

    List<Map<String, Object>> readPathInfo(String path) throws Exception;

    void createFile(String path, MultipartFile file) throws Exception;

    String readFile(String path) throws Exception;

    List<Map<String, String>> listFile(String path) throws Exception;

    boolean renameFile(String oldName, String newName) throws Exception;

    boolean deleteFile(String path) throws Exception;

    void uploadFile(String path, String uploadPath) throws Exception;

    void downloadFile(String path, String downloadPath) throws Exception;

    void copyFile(String sourcePath, String targetPath) throws Exception;

    byte[] openFileToBytes(String path) throws Exception;

    <T extends Object> T openFileToObject(String path, Class<T> clazz) throws Exception;

    BlockLocation[] getFileBlockLocations(String path) throws Exception;
}

package com.iproinfo.refinedanalysis.service.impl;

import com.iproinfo.refinedanalysis.service.HdfsService;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.multipart.MultipartFile;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URI;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**
 * @describe ：
 * @PageLocation:
 * @Auther xzl
 * @Date 2023/9/6 14:41
 */
public class HdfsServiceImpl implements HdfsService {

    @Value("${hdfs.path}")
    private  String hdfsPath;
    @Value("${hdfs.username}")
    private  String hdfsName;
    private  final int bufferSize = 1024 * 1024 * 64;

    /**
     * 获取HDFS配置信息
     * @return
     */
    private Configuration getConfiguration() {
        Configuration configuration = new Configuration();
        configuration.set("fs.defaultFS", hdfsPath);
        return configuration;
    }

    /**
     * 获取HDFS文件系统对象
     * @return
     * @throws Exception
     */
    public FileSystem getFileSystem() throws Exception {
        // 客户端去操作hdfs时是有一个用户身份的，默认情况下hdfs客户端api会从jvm中获取一个参数作为自己的用户身份
        // DHADOOP_USER_NAME=hadoop
        // 也可以在构造客户端fs对象时，通过参数传递进去
        FileSystem fileSystem = FileSystem.get(new URI(hdfsPath), getConfiguration(), hdfsName);
        return fileSystem;
    }

    /**
     * 在HDFS创建文件夹
     * @param path
     * @return
     * @throws Exception
     */
    @Override
    public  boolean mkdir(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return false;
        }
        if (existFile(path)) {
            return true;
        }
        FileSystem fs = getFileSystem();
        // 目标路径
        Path srcPath = new Path(path);
        boolean isOk = fs.mkdirs(srcPath);
        fs.close();
        return isOk;
    }

    /**
     * 判断HDFS文件是否存在
     * @param path
     * @return
     * @throws Exception
     */
    @Override
    public  boolean existFile(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return false;
        }
        FileSystem fs = getFileSystem();
        Path srcPath = new Path(path);
        boolean isExists = fs.exists(srcPath);
        return isExists;
    }

    /**
     * 读取HDFS目录信息
     * @param path
     * @return
     * @throws Exception
     */
    @Override
    public List<Map<String, Object>> readPathInfo(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return null;
        }
        if (!existFile(path)) {
            return null;
        }
        FileSystem fs = getFileSystem();
        // 目标路径
        Path newPath = new Path(path);
        FileStatus[] statusList = fs.listStatus(newPath);
        List<Map<String, Object>> list = new ArrayList<>();
        if (null != statusList && statusList.length > 0) {
            for (FileStatus fileStatus : statusList) {
                Map<String, Object> map = new HashMap<>();
                map.put("filePath", fileStatus.getPath());
                map.put("fileStatus", fileStatus.toString());
                list.add(map);
            }
            return list;
        } else {
            return null;
        }
    }

    /**
     * HDFS创建文件
     * @param path
     * @param file
     * @throws Exception
     */
    @Override
    public  void createFile(String path, MultipartFile file) throws Exception {
        if (StringUtils.isEmpty(path) || null == file.getBytes()) {
            return;
        }
        String fileName = file.getOriginalFilename();
        FileSystem fs = getFileSystem();
        // 上传时默认当前目录，后面自动拼接文件的目录
        Path newPath = new Path(path + "/" + fileName);
        // 打开一个输出流
        FSDataOutputStream outputStream = fs.create(newPath);
        outputStream.write(file.getBytes());
        outputStream.close();
        fs.close();
    }

    /**
     * 读取HDFS文件内容
     * @param path
     * @return
     * @throws Exception
     */
    @Override
    public  String readFile(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return null;
        }
        if (!existFile(path)) {
            return null;
        }
        FileSystem fs = getFileSystem();
        // 目标路径
        Path srcPath = new Path(path);
        FSDataInputStream inputStream = null;
        try {
            inputStream = fs.open(srcPath);
            // 防止中文乱码
            BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream));
            String lineTxt = "";
            StringBuffer sb = new StringBuffer();
            while ((lineTxt = reader.readLine()) != null) {
                sb.append(lineTxt);
            }
            return sb.toString();
        } finally {
            inputStream.close();
            fs.close();
        }
    }

    /**
     * 读取HDFS文件列表
     * @param path
     * @return
     * @throws Exception
     */
    @Override
    public List<Map<String, String>> listFile(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return null;
        }
        if (!existFile(path)) {
            return null;
        }

        FileSystem fs = getFileSystem();
        // 目标路径
        Path srcPath = new Path(path);
        // 递归找到所有文件
        RemoteIterator<LocatedFileStatus> filesList = fs.listFiles(srcPath, true);
        List<Map<String, String>> returnList = new ArrayList<>();
        while (filesList.hasNext()) {
            LocatedFileStatus next = filesList.next();
            String fileName = next.getPath().getName();
            Path filePath = next.getPath();
            Map<String, String> map = new HashMap<>();
            map.put("fileName", fileName);
            map.put("filePath", filePath.toString());
            returnList.add(map);
        }
        fs.close();
        return returnList;
    }

    /**
     * HDFS重命名文件
     * @param oldName
     * @param newName
     * @return
     * @throws Exception
     */
    @Override
    public boolean renameFile(String oldName, String newName) throws Exception {
        if (StringUtils.isEmpty(oldName) || StringUtils.isEmpty(newName)) {
            return false;
        }
        FileSystem fs = getFileSystem();
        // 原文件目标路径
        Path oldPath = new Path(oldName);
        // 重命名目标路径
        Path newPath = new Path(newName);
        boolean isOk = fs.rename(oldPath, newPath);
        fs.close();
        return isOk;
    }

    /**
     * 删除HDFS文件
     * @param path
     * @return
     * @throws Exception
     */
    @Override
    public boolean deleteFile(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return false;
        }
        if (!existFile(path)) {
            return false;
        }
        FileSystem fs = getFileSystem();
        Path srcPath = new Path(path);
        boolean isOk = fs.deleteOnExit(srcPath);
        fs.close();
        return isOk;
    }

    /**
     * 上传HDFS文件
     * @param path
     * @param uploadPath
     * @throws Exception
     */
    @Override
    public void uploadFile(String path, String uploadPath) throws Exception {
        if (StringUtils.isEmpty(path) || StringUtils.isEmpty(uploadPath)) {
            return;
        }
        FileSystem fs = getFileSystem();
        // 上传路径
        Path clientPath = new Path(path);
        // 目标路径
        Path serverPath = new Path(uploadPath);

        // 调用文件系统的文件复制方法，第一个参数是否删除原文件true为删除，默认为false
        fs.copyFromLocalFile(false, clientPath, serverPath);
        fs.close();
    }

    /**
     * 下载HDFS文件
     * @param path
     * @param downloadPath
     * @throws Exception
     */
    @Override
    public void downloadFile(String path, String downloadPath) throws Exception {
        if (StringUtils.isEmpty(path) || StringUtils.isEmpty(downloadPath)) {
            return;
        }
        FileSystem fs = getFileSystem();
        // 上传路径
        Path clientPath = new Path(path);
        // 目标路径
        Path serverPath = new Path(downloadPath);

        // 调用文件系统的文件复制方法，第一个参数是否删除原文件true为删除，默认为false
        fs.copyToLocalFile(false, clientPath, serverPath);
        fs.close();
    }

    /**
     * HDFS文件复制
     * @param sourcePath
     * @param targetPath
     * @throws Exception
     */
    @Override
    public void copyFile(String sourcePath, String targetPath) throws Exception {
        if (StringUtils.isEmpty(sourcePath) || StringUtils.isEmpty(targetPath)) {
            return;
        }
        FileSystem fs = getFileSystem();
        // 原始文件路径
        Path oldPath = new Path(sourcePath);
        // 目标路径
        Path newPath = new Path(targetPath);

        FSDataInputStream inputStream = null;
        FSDataOutputStream outputStream = null;
        try {
            inputStream = fs.open(oldPath);
            outputStream = fs.create(newPath);

            IOUtils.copyBytes(inputStream, outputStream, bufferSize, false);
        } finally {
            inputStream.close();
            outputStream.close();
            fs.close();
        }
    }

    /**
     * 打开HDFS上的文件并返回byte数组
     * @param path
     * @return
     * @throws Exception
     */
    @Override
    public byte[] openFileToBytes(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return null;
        }
        if (!existFile(path)) {
            return null;
        }
        FileSystem fs = getFileSystem();
        // 目标路径
        Path srcPath = new Path(path);
        try {
            FSDataInputStream inputStream = fs.open(srcPath);
//			return IOUtils.readFullyToByteArray(inputStream);
            return null;
        } finally {
            fs.close();
        }
    }

    /**
     * 打开HDFS上的文件并返回java对象
     * @param path
     * @return
     * @throws Exception
     */
    @Override
    public <T extends Object> T openFileToObject(String path, Class<T> clazz) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return null;
        }
        if (!existFile(path)) {
            return null;
        }
        String jsonStr = readFile(path);
//		return JsonUtil.fromObject(jsonStr, clazz);
        return null;
    }

    /**
     * 获取某个文件在HDFS的集群位置
     * @param path
     * @return
     * @throws Exception
     */
    @Override
    public BlockLocation[] getFileBlockLocations(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return null;
        }
        if (!existFile(path)) {
            return null;
        }
        FileSystem fs = getFileSystem();
        // 目标路径
        Path srcPath = new Path(path);
        FileStatus fileStatus = fs.getFileStatus(srcPath);
        return fs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
    }
}
会咬狗的猫
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop工具类
shuai_guo的博客
04-07 468
package hadoop; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.hadoop.conf...
使用springboot基于hdfs和HBase实现的一个海量的对象存储服务.zip
03-20
在本项目中，"使用springboot基于hdfs和HBase实现的一个海量的对象存储服务.zip"，我们探讨的是如何利用SpringBoot框架与Hadoop生态系统中的HDFS（Hadoop Distributed File System）以及NoSQL数据库HBase来构建一个...
基于hadoop的电商销售预测分析系统HDFS+MapReduce+springboot报告文档
02-21
基于hadoop的电商销售预测分析系统HDFS+MapReduce+springboot报告文档 源码：https://download.csdn.net/download/weixin_46115961/86338894
SpringBoot集成Hadoop——对HDFS的文件操作
weixin_45131680的博客
09-07 929
文章目录 一、对HDFS操作设计以下几个主要的类 二、依赖配置 三、HDFS文件操作接口开发 四、一些测试结果截图 一、对HDFS操作设计以下几个主要的类： Configuration：封装了客户端或者服务器的配置信息； FileSystem：此类的对象是一个文件系统对象，可以用该对象的一些方法来对文件进行操作通过FileSystem的静态方法get获得该对象，例：FileSystem hdfs = FileSystem.get(conf)； FSDataInputStream：这是HDFS中的输入
HDFS客户端操作（开发重点）
youif的博客
08-12 2472
HDFS客户端环境准备 1．根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\hadoop\hadoop-2.7.2），如图所示。 2．配置HADOOP_HOME环境变量，如图所示。 3. 配置Path环境变量，如图3-6所示。 4．创建一个Maven工程HdfsClientDemo 1. 2. 3. 4. 4．创建一个Maven工程Hdfs20811 5．导入相应的依赖坐标+日志添加 <dependencies> <dependen
Spring Boot 使用 HDFS
斯遇佳人 仙苑重深
06-11 3883
spring boot集成hdfs，spring boot整合hdfs，spring boot操作hdfs，ha，高可用，封装，starter，hdfs-spring-boot-starter，hadoop
HDFS的API操作（通过springboot实现）
m0_52931616的博客
10-23 1740
在windows下编程并运行代码对虚拟机中的hadoop集群进行操作。主体内容为讲述如何使用HDFS API对HDFS分布式文件系统进行操作，
springmvc+hadoop+maven实现文件上传至hdfs
09-03
在实际实现中，可能还需要编写一个HDFS操作工具类，这个类封装了连接HDFS、上传文件等操作。例如，可能会有一个名为`HdfsUploader`的类，其中包含如`uploadFile()`这样的方法，该方法接受文件路径和HDFS目标路径作为...
基于SpringBoot的Hadoop网盘系统
12-01
2. **MybatisPlus**: MybatisPlus是Mybatis的增强工具，它在Mybatis的基础上进行了功能扩展，提供了包括单表操作、关联查询、分页查询、动态SQL等丰富的功能。在这个系统中，MybatisPlus可能被用于用户管理和数据...
java整合spring和hadoop HDFS全部jar
12-12
确保这些库都包含在项目的类路径中，可以使用Maven或Gradle等构建工具来管理依赖。 2. **配置Spring**：创建Spring配置文件，定义HDFS的bean。例如，我们可以创建一个`HdfsTemplate`的bean，用于执行HDFS操作。配置...
hdfs集成springboot使用
weixin_45880765的博客
03-29 578
1）方法1：通过将hdfs的两个配置文件（hdfs-site.xml、core-site.xml）放到resources文件夹下后，新建Configuration的时候设置为true会自动读取，也可以通过conf.set(“配置”,“值”)来修改配置项。11）递归查询目录所有文件信息，比listStatus多了文本大小，副本系数，块大小信息。3）创建文件夹并设置权限为文件所有者可读可写，文件所有组可读可写，其他人可读。10）输出所有列表所有文件和文件夹信息。13）查询文件块信息并跳转读取。
2.springboot操作hdfs
m0_37189934的博客
08-01 444
记录springboot操作hdfs过程中遇到的一些问题。
[Hadoop实现Springboot之HDFS数据查询和插入 ]
汤圆的博客
06-17 1053
马诗二十三首·其四(唐代-李贺) 此马非凡马,房星本是星。 向前敲瘦骨,犹自带铜声。
大数据技术(入门篇) --- 使用 Spring Boot 操作 CDH6.2.0 Hadoop
编码爱好者
04-17 2750
本人是web后端研发，习惯使用spring boot 相关框架，因此技术选型直接使用的是spring boot，目前并未使用 spring-data-hadoop 依赖，因为这个依赖已经在 2019 年终止了，可以点击查看 ，所以我这里使用的是自己找的依赖， Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。H
SpringBoot整合hdfs，实现文件上传下载删除与批量删除，以及vue前端发送请求，实现前后端交互功能；
weixin_45937224的博客
01-07 2087
spring boot整合hdfs
【Java大数据开发】 Springboot整合hadoop
weixin_45131680的博客
09-06 934
4. 在测试类中执行创建。文件夹，上传，下载文件。
springboot集成hadoop实现hdfs功能
askuld的博客
04-24 1299
但是,我们是在自己的电脑去访问虚拟机,用的是公网的地址,这样当然是无法访问hdfs的内网地址,也无法和datanode建立正常的输送连接,这也是为什么namenode上有目录,但是大小却为0的原因,也是为什么web界面无法下载文件的原因。所以,我们要去想办法让namenode不要返回datanode的内网地址,而是公网的地址,这样我们才能访问和连接。namenode返回datanode的地址,注意是hdfs文件系统的内网地址!想办法使本地可以访问到 DataNode。
springboot集成hadoop3.2.4HDFS
qq_34526237的博客
04-10 1939
记录springboot集成hadoop3.2.4版本，并且调用HDFS的相关接口，这里就不展示springboot工程的建立了，这个你们自己去建工程很多教程。 完整pom配置如下： 1.2 properties文件修改 加入以下配置 name-node是这个服务的地址，可以在hadoop的配置文件中找，或者直接看hadoop集群namenode网页也可以看到端口号。 我的集群的地址是以下这个： namespace是在hdfs上文件的地址，就是写文件要写到这个目录下面去。代码如下： 2.2 新建hdfs操
Springboot连接HDFS
kurtosis的博客
05-23 1081
连接HDFS并创建文件夹 1.创建URI对象，参数为HDFS对应ip端口 URI uri = new URI("hdfs://192.168.109.135:9000"); 2. 创建连接配置 Configuration configuration = new Configuration(); String user="hadoop"; FileSystem fs = FileSystem.get(uri, configuration,user); 3.代码 pom依赖导入： <.
springboot hdfs 实现分片上传
最新发布
05-21
Spring Boot 是一款基于 Spring 框架的快速应用开发框架，而 HDFS（Hadoop Distributed File System）是 Hadoop 的分布式文件系统。实现分片上传是为了解决大文件上传时可能会出现的网络中断等问题。 在 Spring Boot 中使用 HDFS 实现分片上传，可以先将要上传的文件切成多个分片，然后分别将这些分片上传到 HDFS 上，最后在 HDFS 上合并这些分片即可。具体步骤如下： 1. 切分文件：使用 Java 的 RandomAccessFile 类打开文件，通过 seek() 方法定位文件指针，然后使用 read() 方法读取指定长度的字节，将读取的字节保存为一个分片。 2. 上传分片：使用 Hadoop 的 FileSystem API，将分片上传到 HDFS 上。 3. 合并文件：使用 Hadoop 的 FileSystem API，将所有分片合并成一个完整的文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值