并行bzip2

挺不错的开源压缩工具 bzip2 的问题 ，压缩效率高，速度慢。

现在(linux)服务器上大多是多核或多cpu环境。pbzip2 可以集合两方面的优势，提高空间/时间利用率。甚至还有集群版 (cluster) MPIBZIP2 。

SUSE 10 上默认没有安装 pbzip2 。毕竟 winrar 也才在最近开始支持多核的环境。可以手工编译。

1. 下载最新版的源代码 http://compression.ca/pbzip2/
2. tar zxvf pbzip2-x.x.x.tar.gz
3. 进入解压后目录执行 make
4. 编译完成后目录里会生成 pbzip2 可执行文件

Ubuntu, FreeBSD, Windows 等系统可以直接下载预编译版本。

 

pbzip2 在会在解/压缩时自动使用多个 cpu 。如果它无法确定，默认使用两个核心。可以使用参数指定使用的并行数量，如：pbzip2 -p4 。

 

linux环境，理所当然需要配合 tar 一起用。

 

压缩：
tar c file1 file2 file3 ... | ~/pbz2/pbzip2-1.0.5/pbzip2 -p4 -cv > xxxxx.tar.bz2

 

解压缩：
~/pbzip2/pbzip2-1.0.5/pbzip2 -cd xxxxx.tar.bz2 | tar xv

 

bzip2 应该和 pbzip2 完全兼容。不过 winrar (3.9) 并不能正确显示 pbzip2 + tar 的文件。需要用 windows pbzip2 解压出 tar 文件。然后 winrar 就能正确处理了。