博主分享了在Linux环境下压缩大文件(约80GB)的经历，发现gzip压缩速度慢。通过实验发现，使用`tar -cvf`创建87GB的tar文件只需5分钟，而gzip压缩则耗时超过2小时。在尝试不同gzip压缩级别后，发现在保持文件大小变化不大的情况下，降低压缩级别(-1)可以显著提高速度。此外，博主提到pigz作为并行实现的GZip替代品，但无法在当前系统上安装。最后，博主建议使用-1标志加速压缩，考虑更快的压缩软件或并行压缩多文件来提升效率。
我发现自己不得不压缩许多非常大的文件(80-ish GB)，并且我对我的系统表现出的(缺乏)速度感到惊讶。我得到大约500 MB / min的转换速度；使用top，我似乎正在以大约100％使用单个CPU。
我非常确定这不是(只是)磁盘访问速度，因为创建tar文件(这就是80G文件的创建方式)仅花费了几分钟(也许5或10)，但是经过2个小时多之后，我仍然使用了简单的gzip命令未完成。
综上所述：
tar -cvf myStuff.tar myDir/*
用了不到5分钟的时间创建了87 G tar文件
gzip myStuff.tar
花了两个小时又十分钟，创建了一个55G的zip文件。
我的问题：这正常吗？有某些选择gzip可以加快速度吗？串联命令并使用会更快tar -cvfz吗？只见参考pigz- GZip压缩的并行实现 -但不幸的是我不能安装我使用的机器上的软件，所以这不是我的选择。例如，参见前面的问题。
我打算自己尝试其中一些选项并为它们计时-但是，我很可能不会碰到选项的“魔术组合”。我希望这个网站上的某人知道加快速度的正确方法。
当我获得其他试验的结果时，我将更新此问题-但如果有人有特别好的技巧，我将非常感激。也许gzip只是花费了比我意识到更多的处理时间...
更新
按照承诺，我尝试了以下建议的技巧：更改压缩量，并更改文件的目标。对于大约4.1GB的tar，我得到以下结果：
flag user system size sameDisk
-1 189.77s 13.64s 2.786G +7.2s
-2 197.20s
最低0.47元/天 解锁文章
扫一扫
1416
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
