OOM 很可怕吗 -- minio-client 上传文件触发 OOM 排错

不要把 OOM 问题当作一个可怕的难题，也许对着报错堆栈日志看代码就能解决。

问题描述

线上服务出现 OOM 的日志，日志显示是 minio-client 的错误。使用 minio-client 版本是 3.0.10。看代码得知是文件上传接口报错，在测试环境删除上传文件大小限制，上传 6G 文件，复现该问题。
解决方案，client 升级到 7.0.2，手动设置分片大小。

发生原因

minio-client 对于没有指定大小的文件上传，会认为流大小为 5T，进行分片上传，每片大小为 5G。上传逻辑是将分片的流全部转成字节数组，再上传。这会导致最大占用 5G 内存。当多个用户在同一时刻上传多个大文件，很容易就耗净所有内存，产生 OOM。

解决思路

minio-client 7.0.2 可指定分片大小，我将分片大小设置 50M，这样上传单个大文件就不会出现 OOM，同时也增加了并发上传的能力，缺点是上传速度会慢一些。

源码解析