minio 分片上传

脑子不够,笔头来凑!我也不是什么大鸟,职场闯荡三年半,依旧觉得自己像个小白。幸好虽一把年纪,打怪升级,芳心依旧。矫情…

今天工作中测试使用 minio 上传大文件给 OOM ,可我本地本地测试没问题啊。当时就觉得哪里又又又又写了 bug,还是个低级的,查了半天发现是:测试环境服务封装在 docker 里面,容器设置了最大堆内存 1G,大文件超过 1G 了,我本地 mac 是 16G 的。So,这就能合理解释为啥子本地不报错,测试内存溢出了。

上传代码(部分)长这个酱紫:

String path = "./large-file.zip";
File file = new File(path);
InputStream inputStream = new FileInputStream(file)
minioClient.putObject(bucketName, file.getName(), inputStream,"application/octet_stream");

也是第一次搞对象存储,好些不知道。那会就想着输入流建立了管道,怎么还把内存给读爆了,(这里是老大提醒的)minio 内部设计的要从管道中读到全部数据再上传,那这个设计也太二了。

先将文件全部读到内存,再上传,要是文件再大点,这得要多大内存啊。

So 继续搜了搜,还真有分片上传。

版本是 7.0.2

<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>7.0.2</version>
</dependency>

分片上传:

try(InputStream inputStream = new FileInputStream(file)) {
  // 设定每片大小 10M
  PutObjectOptions options = new PutObjectOptions(-1, 10 * 1024 * 1024);
  options.setContentType("application/octet-stream");
  minioClient.putObject(bucketName, fileName, inputStream, options);
  return true;
} catch (Exception e) {
	return false;
}

但是在后面的版本中就没找到 PutObjectOptions 类了,可能重新设计了分片上传的 api。但确定的一点是,分片上传的功能是有的。

  • 4
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值