生信软件7 - 多线程并行运行Linux效率工具Parallel

最新推荐文章于 2024-05-07 11:09:17 发布

生信与基因组学

最新推荐文章于 2024-05-07 11:09:17 发布

阅读量237

点赞数

分类专栏：生物信息学软件文章标签： linux 运维服务器

本文链接：https://blog.csdn.net/LittleComputerRobot/article/details/134414561

版权

生物信息学软件专栏收录该内容

33 篇文章 7 订阅

订阅专栏

Parallel简介

Parallel是一个开源的命令行工具，可以实现多个命令行的并行执行，从而充分利用服务器系统资源，提高分析处理速度，还可以在并行执行时控制并行度和资源利用率，从而避免系统负载过高和资源浪费。

Parallel官网链接

CentOS安装

sudo yum install parallel

Ubuntu安装

sudo apt-get update
sudo apt-get install parallel

本地编译安装

wget https://ftpmirror.gnu.org/parallel/parallel-latest.tar.bz2
tar xjf parallel-latest.tar.bz2
cd parallel*
./configure
make
sudo make install

基本用法

parallel command1 ::: arg1 arg2 arg3

command1为需要并行执行的命令，:::符号表示传递参数arg1、arg2和arg3

软件参数

–jobs / -j：指定要并行执行的作业数量
–load / -l：指定要使用的系统负载
–memfree / -m：指定要保留的系统内存量
–noswap：禁用交换空间
–nice：指定要使用的进程优先级
–timeout / -t：指定作业的超时时间

运行示例

使用管道符和文件来执行并行任务

# 同时执行6个Fastqc任务，--outdir参数为结果数量目录
find *.fq | parallel -j 6 "fastqc {} --outdir ."

# 同时执行samtools index任务，--dry-run显示任务命令但不实际执行，可用于命令检查
find *.bam | parallel --dry-run 'samtools index {}'
find *.bam | parallel 'samtools index {}'

# vi run.sh
echo aaa
echo bbb
echo ccc
echo ddd

# 同时执行4个任务，生信中常通过这种方式并行执行多个任务
cat run.sh | parallel -j 4