生信自动化流程搭建 01 | Nextflow的介绍与安装

一、介绍

生信流程搭建一般有 Shell，Python，Galaxy等流派，为了去尽可能的了解生信流程的搭建过程及压榨计算机性能。我这里使用 Nextflow 作为流程搭建工具，它有着很多强大的功能：

• 简化数据密集型pipelines的编写
• 胶水特性：只要可以在Linux系统中运行的程序或不同的编程语言脚本，都可以放在流程中
• 支持并行计算环境
• 支持集群
• 可重用性高

二、安装

使用conda 安装

• 安装 conda 环境：https://blog.csdn.net/u011262253/article/details/88828229
• 使用命令安装：conda install nextflow

三、流程的基本构成：Processes

语法格式：

process < name > {

   [ directives ]

   input:
    < process inputs >

   output:
    < process outputs >

   when:
    < condition >

   [script|shell|exec]:
   < user script to be executed >

}

可以看到包含几个模块：

• input：输入项
• output：输出项
• when：条件执行
• script|shell|exec：执行脚本

举个例子：

新建文件：first_nextflow.nf

process sayHello {
    echo true

    """
    echo 'Hello world!' > file
    """
}

运行：

nextflow run first_nextflow.nf

结果：

一个流程里可以写多个 processes，一起构成一个完整的流程。

Processes 间的通信是通过 input， output 来连接 。

四、第一个脚本

将以下示例复制到喜欢的文本编辑器中，然后将其保存到名为 tutorial.nf

#!/usr/bin/env nextflow

params.str = 'Hello world!'

process splitLetters {

    output:
    file 'chunk_*' into letters

    """
    printf '${params.str}' | split -b 6 - chunk_
    """
}


process convertToUpper {

    input:
    file x from letters.flatten()

    output:
    stdout result

    """
    cat $x | tr '[a-z]' '[A-Z]'
    """
}

result.view { it.trim() }

该脚本定义了两个 Processes。

第一个将字符串拆分为6个字符，然后将每个字符串写入带有前缀的文件中，

chunk_第二个接收这些文件并将其内容转换为大写字母。

最后，字符串在result输出，最终输view打印 。

通过在终端中输入以下命令来执行脚本：

nextflow run tutorial.nf

它将输出类似于以下文本的内容：

N E X T F L O W  ~  version 19.04.0
executor >  local (3)
[69/c8ea4a] process > splitLetters   [100%] 1 of 1 ✔
[84/c8b7f1] process > convertToUpper [100%] 2 of 2 ✔
HELLO
WORLD!

可以看到第一个 Processes 执行了一次，第二个过程执行了两次。最后，字符串被打印出来。

convertToUpper Processes 是并行执行的，因此不能保证处理第一个拆分的字符（HELLO）将在执行第二个拆分的字符（WORLD！）之前执行。

因此，很有可能将以不同的顺序打印出最终结果：

WORLD!
HELLO

十六进制数字（如22/7548fa）标识唯一的流程执行。这些数字也是执行每个进程的目录的前缀。可以检查由它们生成的文件，使用这些数字来查找特定于进程的执行路径。

修改并恢复

Nextflow跟踪管道中执行的所有进程。如果修改脚本的某些部分，则仅重新执行实际更改的进程。不会修改未更改的进程，而是使用缓存结果。

所以，在测试或修改管道的一部分而不必从头开始执行。

接下来，修改上一个示例中的convertToUpper流程，将流程脚本替换为字符串，使流程如下所示：rev $x

process convertToUpper {

    input:
    file x from letters

    output:
    stdout result

    """
    rev $x
    """
}

然后以相同的名称保存文件，并通过-resume在命令行中添加选项来执行该文件：

nextflow run tutorial.nf -resume

它将输出类似于以下内容的输出：

N E X T F L O W  ~  version 19.04.0
executor >  local (2)
[69/c8ea4a] process > splitLetters   [100%] 1 of 1, cached: 1 ✔
[d0/e94f07] process > convertToUpper [100%] 2 of 2 ✔
olleH
!dlrow

将看到splitLetters实际上跳过了流程的执行（流程ID相同），并且从缓存中检索了其结果。第二个过程按预期执行，打印反转的字符串。

默认情况下，管道结果缓存在目录中$PWD/work。根据的脚本，此文件夹可能会占用大量磁盘空间。如果确定不会继续执行管道，请定期清理此文件夹。

管道参数

管道参数可以通过在变量名前添加前缀params（用点字符分隔）来简单声明。可以在命令行上通过在参数名称前添加双破折号来指定其值，即--paramName

接下来，指定一个不同的输入字符串参数，然后执行前面的示例，如下所示：

nextflow run tutorial.nf --str 'Bonjour le monde'

在命令行上指定的字符串将覆盖参数的默认值。输出将如下所示：

N E X T F L O W  ~  version 19.04.0
executor >  local (4)
[8b/16e7d7] process > splitLetters   [100%] 1 of 1 ✔
[eb/729772] process > convertToUpper [100%] 3 of 3 ✔
m el r
edno
uojnoB