tar多线程压缩解压文件

tar多线程压缩解压文件

tar -czvf a.tar.gz ./*

测试每分钟压缩包a.tar.gz增长大约300M

安装多线程程序

yum -y install pigz

实测，4核的机器，2G文件用了不到1分钟

tar --use-compress-program=pigz -cvpf b.tar.gz ./*

top看到系统CPU使用率是390%+

解压测试：41G 的文件，4核的机器，内存16G

tar --use-compress-program=pigz -xvpf sale_1126.tar.gz

top命令看到CPU使用率没有压缩的时候那么高，在50% - 80%之间
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
18241 root 20 0 38676 724 576 S 84.3 0.0 3:34.92 pigz

遇到单个大文件的时候，CPU使用率会比较高一点
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
18241 root 20 0 38676 724 576 R 126.2 0.0 6:47.93 pigz

最后发现只用了40分钟就解压完，之前用了超过2个半小时

之前一直没想tar过用多线程，现在是尝到甜头了，之前怎么就没想过怎么解决压缩解压大文件慢的问题？！！！