Linux服务器中tar多线程压缩/解压文件

写在前面

年末了，我在2021年购买的共享服务器到期了，今晚上在捣鼓下载服务器中的数据，大概有600-700G的样子。我开始打算全部直接下载。但是，速度真的很慢，下载速度只有100-200kb，实在是无奈！最终只能是的将文件进行压缩后下载。

压缩的命令大部分会使用tar、gzip、gunzip、bzip2、bunzip2、compress、uncompress、 zip、 unzipr等进行压缩，或解压缩等。

其中，tar、gzip、gunzip算是最常用的命令。若你感兴趣可以看教程生物信息学入门实践 | 二、linux命令。

---

原文链接：Linux服务器中tar多线程压缩/解压文件 - (点击访问)

---

此文对做生信的人，一定有用，收藏吧！

如何快速的进行压缩？

我们常用的tar、gzip、gunzip命令，压缩的速度的相关比计较慢的，不知道大家是如何解决的。

那么，今天我们就实操分享一种快速压缩或解压文件的一种方法。

---

安装软件

1. 安装 pigz

mamba install -y pigz 

你也可以使用conda、yum进行安装。

我这里使用mamba安装很快，也推荐使用这个方法进行安装。

输入Y，下载全部所需软件

2. 使用命令进行压缩

time tar --use-compress-program=pigz -cvpf youfile.tar.gz yourfile/

在这里使用pigz时，会调用很多的线程数，因此，若是你的服务器是共享服务器，那么最好进行协调一下资源，或是晚上些在跑。

3. 压缩速度

如图所示，77G大小的文件，压缩时间为15分钟左右。

若是使用常规压缩，压缩后大小为30G的文件，压缩时间为62分钟。

从这里可以看出，加入pigz压缩的速度是提升好几倍。

4. 解压命令

tar --use-compress-program=pigz -xvpf   ***.tar.gz

or

tar --use-compress-program=pigz -zxvf ***.tar.gz

赶紧收藏吧！对于一定有用！！！

往期文章：

1. 复现SCI文章系列专栏

2. 《生信知识库订阅须知》,同步更新，易于搜索与管理。

3. 最全WGCNA教程（替换数据即可出全部结果与图形）

• WGCNA分析 | 全流程分析代码 | 代码一

• WGCNA分析 | 全流程分析代码 | 代码二

• WGCNA分析 | 全流程代码分享 | 代码三

• WGCNA分析 | 全流程分析代码 | 代码四

• WGCNA分析 | 全流程分析代码 | 代码五(最新版本)

---

4. 精美图形绘制教程

• 精美图形绘制教程

5. 转录组分析教程

转录组上游分析教程[零基础]

一个转录组上游分析流程 | Hisat2-Stringtie

小杜的生信筆記 ，主要发表或收录生物信息学的教程，以及基于R的分析和可视化（包括数据分析，图形绘制等）；分享感兴趣的文献和学习资料!!