tar多线程压缩解压文件
tar -czvf a.tar.gz ./*
测试每分钟压缩包a.tar.gz增长大约300M
安装多线程程序
yum -y install pigz
实测,4核的机器,2G文件用了不到1分钟
tar --use-compress-program=pigz -cvpf b.tar.gz ./*
top看到系统CPU使用率是390%+
解压测试:41G 的文件,4核的机器,内存16G
tar --use-compress-program=pigz -xvpf sale_1126.tar.gz
top命令看到CPU使用率没有压缩的时候那么高,在50% - 80%之间
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
18241 root 20 0 38676 724 576 S 84.3 0.0 3:34.92 pigz
遇到单个大文件的时候,CPU使用率会比较高一点
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
18241 root 20 0 38676 724 576 R 126.2 0.0 6:47.93 pigz
最后发现只用了40分钟就解压完,之前用了超过2个半小时
之前一直没想tar过用多线程,现在是尝到甜头了,之前怎么就没想过怎么解决压缩解压大文件慢的问题?!!!