CWL流程笔记 1

CWL流程改写

大致步骤

• 底层执行

  • 基础的py或者perl代码

• cwl编写

  • cwl版本指定，docker版本指定

  • 传参由cwl中的input和output完成

  • 执行顺序由cwl中的steps完成

• 编写shell脚本

  • 指定文件的输出位置和日志文件的输出位置
  • 指定执行最顶层的cwl文件
  • 指定输入cwl文件的参数

cwl的组成

cwl是一套流程控制规则

​ 在一大堆需要执行的PY文件，把他们按照步骤执行，可以理解为一个定时启动的程序来启动需要的代码程序，并且可以实现自动传参和指定输出。

cwl的组成

• head

  • cwlVersion : 指定cwl版本

  • class: CommandLineTool / Workflow（CommandLineTool 是Workflow的基本组成）

  • **CommandLineTool **

  • baseCommand: 语言（python3）
    arguments: [“/pipeline/rnapipe-euk-v2/align-annotate-03.py”]（docker中文件位置）

  • hints:

    • DockerRequirement:
    • dockerPull: rna-seq-euk:v2p46-combined
    • requirements:
      • class: ResourceRequirement
      • coresMin: 8
      • coresMax: 8
      • ramMin: 32Gi
      • ramMax: 64Gi

  • Workflow

    • cwlVersion: v1.0
      class: Workflow

      label: rna-seq-euk PartOneScalar

• body

  • input
    • Raw_Dir（参数名）: Directory（参数类型）/int/string/…
  • outputs
    • Clean_Raw_R1_File（参数名）:
      ​ type: File（参数类型）
      ​ outputSource: RemoveRRNA/Clean_Raw_R1_File（输出位置）

• tail

  • steps（Workflow才有）
    • QualityControl（CommandLineTool 名字）
    • run: AlignAndAnnotate04.cwl （CommandLineTool）
    • in：
      • Paired1_File: RemoveRRNA/Clean_Raw_R1_File
      • 输入这个cwl参数，可以是任意一个steps的步骤的输出或者Workflow的input
    • out:
      • - Hisat_Bam_File
      • 可以作为任意CommandLineTool 的输入或者是生成的结果文件