Minio 批量下载文件，并压缩文件，使用sftp上传文件

已于 2022-08-12 12:19:44 修改
阅读量7.4k 收藏 12
点赞数 1
分类专栏： 我的Java日记 文章标签： java 服务器 开发语言
于 2022-05-24 10:33:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lifeime/article/details/124942052
版权

公司要求使用minio下载文件，并且通过将文件压缩后上传到不同网络的资源服务器,从minio下载文件，目前只会从一个桶(只包含文件不含目录)中下载纯文件，还没有实现桶中包含文件和文件目录的功能，还有待优化
首先在pom.xml中加入相应的依赖

 <!-- sftp -->
 <dependency>
     <groupId>com.jcraft</groupId>
     <artifactId>jsch</artifactId>
     <version>0.1.44-1</version>
 </dependency>

 <!-- Minio -->
 <!-- ${minio.version} 8.2.1 -->
 <dependency>
     <groupId>io.minio</groupId>
     <artifactId>minio</artifactId>
     <version>${minio.version}</version>
 </dependency>

具体代码如下:

package com.xxx.xxxx.xxxxx.dto.apply;

import cn.hutool.core.io.FastByteArrayOutputStream;
import com.xxx.xxx.xxx.exception.EcnyTransException;
import com.xxx.xxx.xxx.exception.WalletTransError;
import io.lettuce.core.metrics.MicrometerCommandLatencyRecorder;
import io.minio.*;
import io.minio.messages.Item;
import org.junit.Test;
import org.springframework.beans.factory.annotation.Autowired;

import java.io.File;
import java.io.FileOutputStream;
import java.io.OutputStream;

/**
 * @author Liang Guo
 * @version 1.0
 * @date 2022/5/23 15:21
 * @describe 测试从minio 桶下载数据
 */
public class downloadFileFromMinioTest {


    @Test
    public void download() {
        MinioClient minioClient = MinioClient.builder().endpoint("http://xx.x.xxx.xxx:9000").credentials("xxxxx", "xxxxx").build();
        try {
        //桶名 test
            boolean ofwallet = minioClient.bucketExists(BucketExistsArgs.builder().bucket("test").build());
            // 如果桶存在
            if (ofwallet) {
                //查询桶中的所有我呢见
                Iterable<Result<Item>> itemLists =
                        minioClient.listObjects(ListObjectsArgs.builder().bucket("test").recursive(false).build());
                for (Result<Item> itemList : itemLists) {
                    Item item = itemList.get();
                    downloadFile(item, minioClient);
                }
            }
        } catch (Exception e) {

        }
    }
	/**
	* item 桶中的对象
	*/
    private void downloadFile(Item item, MinioClient minioClient) {

        try {
            GetObjectArgs build = GetObjectArgs.builder().bucket("test").object(item.objectName()).build();
            //获取文件对象
            GetObjectResponse objectResponse = minioClient.getObject(build);
            byte[] buf = new byte[Integer.parseInt(String.valueOf(item.size())) + 1]; // 指定长度

            FastByteArrayOutputStream fbaos = new FastByteArrayOutputStream();
            int len = 0;
            while ((len = objectResponse.read(buf)) != -1) {
                fbaos.write(buf, 0, len);
            }
            fbaos.flush(); //刷新

            // 指定目录创建文件
            File fileDir = new File("/home/download");
            if (!fileDir.exists() && !fileDir.isDirectory()) {
                fileDir.mkdir();
            }
            File file = new File( "/home/download/" + item.objectName());
            if (item.objectName().contains("/") || item.objectName().contains("\\")) {
                file.mkdir();
            }
            if (!file.exists()) {
                file.createNewFile();
            }

            // 写文件
            OutputStream outputStream = new FileOutputStream(file);
            outputStream.write(fbaos.toByteArray());
            outputStream.flush();
            fbaos.close(); // 关流
            outputStream.close();
        } catch (Exception e) {
            throw new EcnyTransException(WalletTransError.SIGN_ECIF_NETWORK_FAIL);
        }

    }
}

压缩文件:

package com.xxx.xxx.xxx.dto.apply;

import com.xxx.xxx.xxx.service.IGenerateCodeService;
import org.junit.Test;
import org.springframework.beans.factory.annotation.Autowired;

import java.io.*;
import java.net.URL;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;

/**
 * @author Liang Guo
 * @version 1.0
 * @date 2022/5/19 15:07
 */
public class MakeDirTest {

    @Autowired
    private IGenerateCodeService generateCodeService;

    private String PARTNER_NO = "45612346";
    /**
     * 复制文件
     * @throws IOException
     */
    @Test
    public void makeDir() throws IOException {
        try {
            //获取file文件夹的相对路径
            URL url = getClass().getClassLoader().getResource("file/");
            File file = new File(url.getPath());
            //判断该文件是否是一个文件夹
            if (file != null && file.isDirectory()) {
                //将文件夹中的所有文件赋值给数组
                File[] listFiles = file.listFiles();
                for (File listFile : listFiles) {
                    System.out.println(url);
                    File accountOpen = new File(url.getPath() + "/accountOpen");
                    if (!accountOpen.exists()) {
                        accountOpen.mkdir();
                    }
                    byte[] buf = new byte[1024];
                    FileInputStream fileInputStream = new FileInputStream(listFile);
                    FileOutputStream fos = new FileOutputStream(accountOpen.getCanonicalPath()+"/2.txt");
                    int len = 0;
                    while ((len = fileInputStream.read(buf)) != -1){
                        fos.write(buf);
                    }
                    //创建一个用于操作文件的字节输出流对象，创建就必须明确数据存储目的地
                    //刷新并关闭流
                    fos.flush();
                    fos.close();
                    fileInputStream.close();
                }
            }
        } catch (Exception e) {
            throw new IOException("复制文件失败",e.getCause());
        }
    }

    /**
     * 复制一个文件夹中的内容，并且重命名文件夹
     */
    @Test
    public void mkdir1() throws IOException {
        try {
            // 获取/home/downLoad文件夹的路径
            File file = new File("/home/download");
            //判断该文件是否是一个文件夹，文件不做处理
            if (file != null && file.isDirectory()) {
                File accountOpen = new File("/home/accountopen");
                // 找到文件夹中的所有信息 赋值给数组
                File[] listFiles = file.listFiles();
                for (File listFile : listFiles) {
                    //判断文件是否为文件夹
                    if (listFile.isDirectory()){
                        //是文件夹，再往下一级查找文件,递归调用 本方法
                        mkdir1();
                    } else {
                        //不是文件夹
                        // 新建一个accountOpen的文件夹
                        if (!accountOpen.exists()) {
                            accountOpen.mkdir();
                        }
                        byte[] buff = new byte[listFiles.length];
                        FileInputStream fileInputStream = new FileInputStream(listFile);
                        FileOutputStream fos = new FileOutputStream(accountOpen.getCanonicalPath() + "/" + listFile.getName());
                        int len = 0;
                        while((len = fileInputStream.read(buff))!= -1){
                            fos.write(buff);
                        }
                        fos.flush();
                        fos.close();
                        fileInputStream.close();
                    }
                }
            }
        } catch (Exception e) {
            throw new IOException("",e.getCause());
        }
    }

    /**
     * 压缩文件
     */
    @Test
    public void zipFile() throws IOException {
        for(int i = PARTNER_NO.length(); i < 15; i++){
            PARTNER_NO = "0" + PARTNER_NO;
        }
        String zipName = PARTNER_NO + "_001_" + "gdgsar02" + ".zip"; //压缩文件名字
        String zipUrl = "/home/sftp/"; // FileOutputStream(zipUrl + zipName) 创建zip压缩文件的路径以及名称 压缩包存放的地方

        File file1 = new File(zipUrl);
        if (file1 != null && !file1.isDirectory()) {
            file1.mkdir();
        }

        ZipOutputStream zipOutputStream = new ZipOutputStream(new FileOutputStream(zipUrl + zipName));//设置压缩文件名字

        File file = new File("/home/accountopen/");
        zip(zipOutputStream,file, "");
        zipOutputStream.close();

        //删除 accountopen文件加
        deleteFile(file);


    }

    /**
     * 删除文件
     * @param file
     */
    private void deleteFile(File file) {
        if (file == null || !file.exists()) {
            System.out.println("文件删除失败,请检查文件是否存在以及文件路径是否正确");
        }
        File[] files = file.listFiles();
        for (File f : files) {
            if (f.isDirectory()) {
                deleteFile(f);
            } else {
                f.delete();
            }
        }
        file.delete();
        System.out.println("删除成功" + file.getName());

    }

    private void zip(ZipOutputStream zipOutputStream, File file, String base) throws IOException {
        String baseUrl = "accountopen/"; // 压缩包内部目录
        if (null != file && file.isDirectory()) { //如果该文件对象是一个目录
            File[] files = file.listFiles();
            zipOutputStream.putNextEntry(new ZipEntry(baseUrl));
            for (File file1 : files) {
                zip(zipOutputStream, file1, file1.getName());
            }
        } else {
            zipOutputStream.putNextEntry(new ZipEntry(baseUrl + base)); //压缩包内的目录结构

            FileInputStream fileInputStream = new FileInputStream(file);
            int b;
            while((b = fileInputStream.read())!=-1){
                zipOutputStream.write(b);
            }
            fileInputStream.close();
        }

    }

}

用sftp上传文件，上传文件待修改，本次只是记录，还未测试

package com.xxx.xxx.xxx.dto.apply;

import com.jcraft.jsch.*;
import org.junit.Test;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.util.Properties;

/**
 * @author Liang Guo
 * @version 1.0
 * @date 2022/5/24 9:39
 */
public class SFTPPutFileTest {
    private static final String hostname = "xx.x.xxx.xxx"; //ip地址
    private static final String port = "22"; //端口号
    private static final String sshUser = "xxxxx";  //用户名
    private static final String sshPass = "xxxxx";  //密码

    @Test
    public void putFileToServer() throws Exception {

        File uploadFile = new File("/home/sftp/xxxx_001_gdgsar02.zip");

        JSch jSch = new JSch();
        String filePath = "/home/sftp/";
        Session session = null;
        ChannelSftp sftp = null;
        try {
            session = jSch.getSession(sshUser, hostname, Integer.parseInt(port));
            session.setPassword(sshPass);
            Properties sshConfig = new Properties();
            sshConfig.put("StrictHostKeyChecking", "no");
            session.setConfig(sshConfig);
            session.connect();
            // 获取上传的管道
            Channel channel = session.openChannel("sftp");
            channel.connect();
            sftp = (ChannelSftp) channel;
            //发送文件、
            sftp.cd(filePath); //进入指定目录 ,文件保存目录
            System.out.println("-------上传文件-------:"+ uploadFile);
            sftp.put(new FileInputStream(uploadFile), uploadFile.getName());  //读取要上传的文件并上传
            System.out.println("-------上传完成-------:"+ filePath);

        } catch (JSchException | FileNotFoundException | SftpException e){
            throw e;
        }
    }
}

sftp上传文件，已测试

package com.xxx.xxx.xxx.dto.apply;

import com.jcraft.jsch.*;
import org.junit.Test;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.util.Properties;

/**
 * @author Liang Guo
 * @version 1.0
 * @date 2022/5/24 9:39
 */
public class SFTPPutFileTest {
    private static final String hostname = "xx.x.xxx.xxx";
    private static final String port = "22";
    private static final String sshUser = "root";
    private static final String sshPass = "xxxxxx";

    @Test
    public void putFileToServer() throws Exception {

        File uploadFile = new File("/home/sftp/00000PT00000308_001_gdgsar02.zip");

        JSch jSch = new JSch();
        String filePath = "/home/sftp/";
        Session session = null;
        ChannelSftp sftp = null;
        try {
            session = jSch.getSession(sshUser, hostname, Integer.parseInt(port));
            session.setPassword(sshPass);
            Properties sshConfig = new Properties();
            sshConfig.put("StrictHostKeyChecking", "no");
            session.setConfig(sshConfig);
            session.connect();
            // 获取上传的管道
            Channel channel = session.openChannel("sftp");
            channel.connect();
            sftp = (ChannelSftp) channel;
            //判断服务器是否有该目录 /home/sftp
            SftpATTRS lstat = sftp.lstat(filePath);
            //if (!lstat.isDir()) { //如果不是目录
            //    sftp.mkdir(filePath); //创建目录
            //} 待完善
            //发送文件、
            sftp.cd(filePath); //进入指定服务器目录 ,文件保存目录
            System.out.println("-------上传文件-------:"+ uploadFile);
            sftp.put(new FileInputStream(uploadFile), uploadFile.getName());  //读取要上传的文件并上传
            System.out.println("-------上传完成-------:"+ filePath);

        } catch (JSchException | FileNotFoundException | SftpException e){
            throw e;
        }
    }
}

完成

海枯石烂i
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Go 相关的框架，库和软件的精选清单
开发之路
07-03 4770
概述 这是一个Go 相关的框架，库和软件的精选清单，引用自 awesome-go项目，并翻译补充而来这是一个Go 相关的框架，库和软件的精选清单，引用自 awesome-go项目，并翻译补充而来 音频和音乐 用于处理音频的库。 EasyMIDI -EasyMidi是一个简单可靠的库，用于处理标准Midi文件（SMF）。 flac支持FLAC流的Native Go FLAC编码器/...
java压缩文件和下载图片示例
09-01
在Java编程中，压缩文件和下载图片是常见的操作，尤其在构建Web应用时。本示例将探讨如何使用Java实现这两个功能。 首先，我们来看Java压缩文件的部分。在这个例子中，使用了`GZIPOutputStream`来实现GZIP压缩。...
ubuntu20.04通过minio配置FTP服务
silent702366的博客
05-06 601
ubuntu20.04通过minio配置FTP服务
从minio 获取文件，打包下载 简单笔记
XIAOTONGZHU的博客
11-25 2501
controller 层。打包下载。minio打包下载。minio获取文件流
Java批量下载Minio文件（多线程下载）
最新发布
weixin_41002386的博客
05-31 579
/ 本地文件夹，只用创建桶，如果你的桶下面还有很多文件夹，代码自动创建。// 可能需要删除或标记为无效的0字节文件，根据实际情况决定是否加入此逻辑。// 创建本地目录结构（如果对象表示一个目录，则直接创建目录）// 使用ListObjectsArgs正确构建请求来遍历存储桶中的所有对象。// 根据实际情况调整线程池大小。
Java实现迭代复制MinIo指定bucket下的文件
m0_60534886的博客
08-05 3761
Java实现迭代拷贝MinIo指定bucket下的文件和目录,支持指定bucket下指定目录的拷贝
Linux运维之管理工具篇
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
03-12 1103
因运维过程中，经常会借助于很多工具来实现我们的监控、备份、校验，安全测试，批量操作，可视化辅助，集中管理等，甚至AI相关，本文特对常用工具进行梳理记录，以备不时之需及后来者参考应用，欢迎留言补充和建议。
【centos7】常用命令系统、网络、磁盘、端口占用、telnet、同步时间、防火墙、清理内存、软连接、ssh、压缩、解压缩、sha256、守护进程、清理系统日志、yum、shell编写
psycho7ogist的博客
09-08 1248
centos7常用命令系统、网络、磁盘、端口占用、telnet、同步时间、防火墙、清理内存、软连接、ssh、压缩、解压缩、sha256、守护进程、清理系统日志、yum、shell编写
Go学习路线
多看多听多总结
05-02 4959
今天在开发的时候，找不到合适的包，翻了好久github没有合适的，我发现有个文章开源的包很全，所以就记录下来了，也提供给大家了！！！ API 服务和工具 图形语言 GraphJin - 用于 Postgres 的即时 GraphQL API。无需代码，将 GraphQL 编译为 SQL。 MTProto MTProto - 在纯 Go 上编写的 Telegram API 的完整本实现。 天文学 go-fits - FITS（灵活图像传输系统）格式图像和数据读取器 astrogo/...
精选的 Go 框架，库和软件的精选清单
思月行云
05-09 7282
来自：https://learnku.com/articles/41230 精选的 Go 框架，库和软件的精选清单 概述 这是一个 Go 相关的框架，库和软件的精选清单，引用自awesome-go项目，并翻译补充而来这是一个 Go 相关的框架，库和软件的精选清单，引用自awesome-go项目，并翻译补充而来 如果看到不再维护的项目，请及时联系发帖者或留言，谢谢！* 音频和音乐 用于处理音频的库。 EasyMIDI-EasyMidi 是一个简单可靠的库，用于处理标准 Midi...
Java 框架、库和软件的精选列表(Awesome Java)
sinat_36171659的博客
03-27 2202
原创翻译，原始链接 本文为awesome系列中的awesome java 文章目录项目Bean映射构建字节码操作缓存CLI集群管理代码分析代码覆盖率代码生成器编译器计算机视觉配置约束满足问题求解器CSV数据结构数据库日期和时间依赖注入发展分布式应用程序分布式事务分发文档处理财务正式验证函数式编程游戏开发地理空间图形界面高性能HTTP客户端超媒体类型IDE图像内省作业调度JSONJVM和JDK日志机器学习消息微服务杂项移动开发监控原生自然语言处理网络ORMPaaSPDF性能分析平台Apache Commo.
minio实现本地和云端文件同步
02-26
1. **文件上传**: 使用`putObject()`方法，可以将本地文件上传到MinIO服务器。这个方法通常需要提供桶名（bucket name）、对象名（object name）和文件输入流。例如： ```java try (FileInputStream fis = new ...
java线程池实现批量下载文件
08-25
Java线程池实现批量下载文件是指使用Java语言和线程池机制来实现批量下载文件的功能。这种方法可以大幅提高下载速度和效率，特别是当需要下载大量文件时。下面将对Java线程池实现批量下载文件的原理和实现进行详细...
基于Java写minio客户端实现上传下载文件
08-19
在本文中，我们将深入探讨如何使用Java来实现MinIO客户端，以便进行文件的上传和下载操作。MinIO是一个高度可扩展的对象存储服务器，适合用于存储和检索大量的非结构化数据，如图片、文档、视频等。它提供了一个简单...
SpringBoot(31) 整合MinIO实现文件上传与下载
08-17
在本教程中，我们将深入探讨如何使用SpringBoot框架与MinIO进行集成，以实现文件的上传和下载功能。SpringBoot以其简洁的配置和强大的功能深受Java开发者喜爱，而MinIO则是一个高性能的对象存储服务器，适合处理大...
使用restTemplate.postForEntity()
热门推荐
Lifeime的博客
02-21 1万+
@Component public class RemoteQuestUtil { @Autowired private RestTemplate restTemplate; public String send(String srvcCode, String request){ //srvcCode 获取对应交易 现场适配 MockPropertiesUtil instance = MockPropertiesUtil.getInstance()
cron 表达式常用符号
Lifeime的博客
05-24 5783
初学cron表达式
IDEA 撤销本地commit的代码
Lifeime的博客
12-14 3361
IDEA git 撤销本地commit代码
minio批量下载文件
10-17
可以使用Minio的mc工具来批量下载文件。具体步骤如下： 1. 首先安装Minio的mc工具，可以参考官方文档：https://docs.min.io/docs/minio-client-quickstart-guide.html 2. 然后使用mc ls命令列出需要下载的文件列表，例如： ``` mc ls myminio/mybucket ``` 3. 将需要下载的文件列表保存到一个文件中，例如： ``` mc ls myminio/mybucket > filelist.txt ``` 4. 使用awk命令从文件列表中提取出文件名，例如： ``` awk '{print $5}' filelist.txt > filenames.txt ``` 5. 使用xargs命令批量下载文件，例如： ``` cat filenames.txt | xargs -I {} mc cp myminio/mybucket/{} . ``` 这个命令会将myminio/mybucket下的所有文件下载到当前目录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值