tar+pigz+ssh实现大数据压缩传输

 

 

磁盘读取---->打包---->压缩------>传输---->解压缩-->拆包---->落盘

          |->tar     |->gzip      |->ssh      |->gzip   |->tar

          
          
          

比如我要将本地的test目录拷贝到“目标IP”的的data目录，则命令如下：
tar -c test/ |pigz |ssh -c arcfour128 目标IP "gzip -d|tar -xC /data"
或者
tar -c test/* |pigz |ssh -c arcfour128 目标IP "gzip -d|tar -xC /data"

 

如果不需要解压，则命令变为：
tar -c test/ |pigz |ssh -c arcfour128 目标IP "cat >/data/test.tar.gz"
注：因为采用了流式压缩，解压过程必须加上-i参数，及tar –ixf /data/test.tar.gz(面对大数据的时候)

 

执行命令的过程中如果抛出:-bash: pigz: command not found
解决: 安装pigz(我提供了两个版本, 随便安装一个就行, 我之前安装的是yum版)

http://files.cnblogs.com/files/chenglee/pigz-2.3.4.tar.gz

还有一个是redhat的rpm包提供的, 需要的可以上yum库找, 以上的是编译包

转载于:https://www.cnblogs.com/chenglee/p/7161274.html