Linux下提高压缩速度——多线程压缩pigz

常用压缩

---

Linux下常用的压缩包括：

• tar: 如 tar zcvf a.tgz ./a
• zip: 如 zip -qr a.zip ./a

如果只在Linux系统上使用，应用最多的是tar，如果涉及到与windows交互，一般用zip。

但有一个问题，就是它们在压缩时，最多占用一个cpu到100%，是单线程的，当要处理的文件比较大时，将非常耗时。

这里以使用tar为例，来介绍一下多线程压缩工具pigz。

使用多线程pigz

---

通过查看tar的man page，可以看到Compression options中可以指定压缩程序：

-I, --use-compress-program=COMMAND

在这里，我们指定pigz程序，以实现多线程并发压缩，从而提高压缩速度。

需要安装：apt -y install pigz。

如需要把当前目录下所有内容压缩到d.tgz，使用方法如下：

tar --use-compress-program=pigz -cvf d.tgz *

这时，可以看到cpu使用率上来了，压缩速度也提高很多，适用于cpu空闲状态下使用。

当然，也可以直接使用pigz命令，但pigz只能压缩单个文件，一般还是结合tar的打包功能一起使用。

pigz常用命令参数：

-p: 设置最大使用线程数量，默认所有在线cpu，如果不能获取cpu数量，则取8
-b：设置压缩块大小，默认128k
-d：解压缩
-q：静默模式，不输出任何信息
-k：不删除原始文件
-l：输出压缩内容
-r：递归子目录
-S：使用sss后缀替换gz
-v：输出详细信息

使用方式：

tar -cvf - dir1 dir2 dir3 | pigz -p 8 > output.tgz

解压：

pigz -p 8 -d output.tgz

小节

---

使用pigz，利用了多核cpu，提高了压缩速度。

类似于windows中的winzip，可以设置全力压缩或者优化保证其他应用，其实就是在设置最高使用线程数量。

目前的服务器核心都比较多，建议使用pigz压缩及解压。