大文件快速压缩打包

使用 commons-compress 实现可控多线程快速压缩

项目中解决的问题,在此记录下来。

Java自带压缩和市面上搜到的其他方法均不能满足需求,

简单的说就是慢,每次都是大批量至少2G的文件压缩打包,一般方法优化到极致2G也要30秒的样子,

找了一圈最后找到 Apache 开源的 commons-compress。

commons-compress 实现的 ZipArchiveEntry 效率足够高,

但会使用当前服务器全部可用线程,导致压缩过程中占用CPU资源过高,

严重影响正常业务进行。

无奈,啃起了源码,找到对应的解决办法。。。_

可以通过控制 ParallelScatterZipCreator 使用的线程数,控制压缩使用的CPU线程,

在提升压缩性能的同时减少对正常业务的影响。

通过实际测试结果选择合适的线程数。

我这里服务器配置较高,经过测试优化后2G的大文件打包压缩在8-10秒之间。

废话不多说,上源码地址

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ゞ註﹎錠oo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值