tar使用通配符查找文件,由于文件过多参数超过限制,bash直接退出,所以使用find+xargs将参数一个一个喂给tar。
find filepath -name "filename" > xargs tar -zcvf tarname.tar.gz
由于filepath里加入了通配符,导致find速度很慢,用ls -1 -f查出来的参数递给find,同时在ls时用-I(大写i) "filename1" -I "filename2"去掉不需要的路径,在find时用 ! -name "filename1" -name "filename2"去掉不需要的文件。
ls -1 -f filepath -I "." -I ".." | xargs -i find filepath/{}/filepathnext -name "neededfilename*" ! -name "excludefile1" -name "excludefile2" | xargs tar -zcvf tarname.tgz
打包出来解压之后,发现tarname.tgz中只有少数几个文件,推测是-c参数在每次文件传入时都重新打包了。
查看tar命令发现-r参数可以追加在原来的tar包后,但只能在未压缩的tar包之后追加。因此决定先打包,再用gzip自行压缩,最后使用的命令为:
ls -1 -f filepath -I "." -I ".." | xargs -i find filepath/{}/filepathnext -name "neededfilename*" ! -name "excludefile1" -name "excludefile2" | xargs tar -rvf tarname.tar
gzip -9 tarname.tar
得到压缩过后的tarname.tar.gz文件
***************************更新*****************************************
由于-rvf是将文件归档,运行速度太慢,遂将找到的文件名重定向到一个文件,然后统一压缩。
nohup ls -1 -f filepath -I "." -I ".." 2>/dev/null | xargs -i find filepath/{}/filepathnext ! -name "excludefile1" ! -name "excludefile2" -name "neededfilename*" -o -name "neededfilename2*" 1>filename 2>/dev/null &
tar -T filename -zcvf data.tgz