原文
生信技能树
本篇为学习该视频后的个人练习
如何加快压缩和解压缩的速度
-
gzip/gunzip
压缩:gzip readme.txt
解压:gunzip readme.txt.gz
-
zip/unzip
压缩:zip readme.txt.zip readme.txt
解压:unzip readme.txt.zip
-
bzip2
压缩:bzip2 readme.txt
解压:bizp2 readme.txt.bz2
-
tar(适用于多个文件)
压缩:tar -zcvf output.tar.gz file1 file2
解压:tar -zxvf input.tar.gz
这些都是单线程的
pigz这是双线程的
lscpu 看当前cpu的一些参数
可以多线程进行压缩和解压缩
pigz的下载
conda install pigz
参数
-d --decompress 解压缩
-p --processes n 使用几个线程来解压
-k --keep 保留原文件
-c --stdout 输出到标准输出流
压缩成.gz格式
pigz -k -p 8 file1
很快啊
压缩成.tar.gz
tar -cvf - file1 file2 file3 |pigz -p 8 > output.tar.gz
解压.gz格式的文件
pigz -d -k -p 48 SRR13436208_mapped_and_unmapped.fastq.gz
解压缩.tar.gz格式的文件
pigz -d -c -p 48 1.tar.gz | tar -xf -