生信流程搭建有多难？行业为解决这一问题提出了各种各样的配方，有你熟悉的吗？
一、困境 - 乱
无数机构投入大量人力物力，以期获得一条条可用的生信流程。而有些流程，由于种种原因，存在着巨大的缺陷：
没有标准，不同的人设计出来的流程，开发、使用方法都不一样。
将软件/脚本、计算资源以及业务逻辑混在一起，导致代码结构混乱。
由于上述原因，导致非常严重的后果：
开发周期无限拉上，成本被无限放大。这是由于流程本身的缺陷，导致既难开发，也难维护。代码永远都存在 Bug，一直在修复的路上。
由于流程的结构不合理，导致想升级、优化某些步骤，或者增加新功能，难如登天。
君不见有些公司的内部数据库或软件 5、6 年不更新，甚至接近 10 年不更新也不鲜见。
比如 Python 还停留在 Python2.x 时代，R 还停留在 3.x 甚至 2.x时代，GATK 是 3.x 甚至 2.x，数据库落后官方好几年等等不一而足。主打的就是能跑就行，流程能跑就跑，不能跑我跑。
有一些软件/数据库，官方都停止维护了，甚至在其网站明确声明不再维护，建议换其他软件/数据库。而有的企业内部却一直不更新，为什么？因为原来流程能跑得通，没人愿意去更新，也怕更新了出错，于是干脆就维持现状。
由于没有标准，导致每一条流程的使用都得有一个SOP，新人入手极其困难。
困境是：乱，很乱，怎一个乱字了得。
二、传统 - 串
传统的生信流程搭建，关键词就是：串。
用 Shell script / Perl / Python 等脚本语言将需要跑的命令串起来。比如这个基因家族分析：A pipeline for identification of olfactory receptor(OR) gene family
https://github.com/jianzuoyi/orfam
该流程仿的是发了 Nature method 的 Speedseq 。
这种最原始的流程搭建方式，其特点是将流程中要运行的命令、计算资源和业务逻辑绑定在一起。针对一些业务逻辑简单的任务没什么问题，但是对于比较复杂的情况就无能为力了。
三、标准 - 理想丰满
为了解决搭流程的问题，生物信息学领域是很拼的。不少机构都下场，誓要将这一问题彻底给解决。
都号称自己能将生信流程轻松拿捏。 由此多家单位都推出了自己的标准。
下面仅列举常见的四个：
CWL，全称是通用流程语言（Common Workflow Language）。
WDL，全称是流程描述语言（Workflow Description Language）。
Nextflow，专注于开发生信流程的社区，其 nf-core 有一些现成可用的流程。
Snakemake，make 风格的流程搭建。
这是目前大浪淘沙之下剩余下来有一定影响力的。我对这些标准的评价是：浓浓的学院风，非常不接地气。大白话讲就是：难用。
大家有没有见到过一种现象，就是网上有很多介绍各种流程框架的使用教程，大多都虎头蛇尾。一开始雄心壮志，说要掌握某某流程框架，写了几篇之后，发现没法继续了，大都停留在 Helllo World 阶段，然后就没有然后了。
或者最后说一句：遇到了点问题。哈哈哈。。。仅仅是一点问题么。。。
写写 Hello world，各种框架还是很丝滑的。遗憾的是，仅此而已。
四、现实 - 却很骨感
我曾重度使用过 WDL，尝试把公司内自己负责的所有生信流程都用 WDL 重写。因为当年博德研究所联合华大等单位一起在国内大力推广 WDL，当年还成立了所谓的“生物信息协作组”，大概叫这么一个名字，其目的是制定流程搭建标准，大家如果都按照统一标准来，就可以方便流程共享，减少重复工作。多美好的愿望啊。
所以我就躬身入局了。后来发现，这玩意不仅开发麻烦，运行过程中还经常报莫名其妙的错误，根本排查不出原因。这是生产环境的大忌，忍无可忍之后，遗憾放弃。
客观来说，所有标准的出发点都是好的，它们最终的目标都是天下一统，就像秦统一六国：
六王毕，四海一。
遗憾的是，各种标准的提出，本身又成了一个又一个的小王国。所有标准都希望开发者尽入吾彀中，现实却是很骨感的。
这个标准不好，于是又提出一个新的标准。标准之争，最终演变成了标准泛滥。
五、破局 - 返璞归真
什么才是真正通用的生信流程语言？其实不是别的，正是 Linux，准确地说是 Linux shell，更具体点，可以说是 Bash 脚本语言。
为什么？因为我们是通过 Shell 去调用 Linux 服务器上的生信软件的，Shell 是调用 Linux 命令通用的语言，自然也是通用的生信流程语言了。明白了这一点，就清楚我们搭建生信流程需要坚持的原则了：
尽量直接使用 Shell 脚本
如果流程复杂度上升，可以借助胶水语言如 Python / Perl，但是第一步也是要先生成 Shell 脚本
这两个原则，还可以用来判断一个流程框架是否合理。为什么流程框架的第一步必须先生成 Shell 脚本？原因如下：
灵活性。生成 Shell 脚本，可以向任何后端集群投任务。而向集群投任务，IT 行业已经解决得非常好了，任何集群，都有成熟的任务投递工具。反观一些流程框架，负责任务生成和投递，除了徒增复杂性和向外行表示自己的强大之外，没有任何好处。
问题排查。如果任务执行失败，直接查看相应 Shell 脚本是否正确就行了，非常方便。有的流程框架不生成 Shell 脚本，有的生成了 Shell 脚本但是放在非常混乱的文件夹下，不利于排查问题。
结果复现/溯源。Shell 脚本与分析结果放在一起，方便未来复现结果，或者追溯当时生成结果的相关软件及其参数设定。
六、zflow - 让你极度爽
现有标准都不好，于是又提出一个新的+1。
基于一个理念：Linux 才是通用的生信流程语言。zflow 是流程中的一个核心组件，负责生成 Shell 脚本，其支持：
单样本流程搭建：如转录组标准分析、WGS、WES 重测序等。
配对样本流程搭建：如肿瘤 NGS 变异检测等。
支持加测：即支持一个样本多个文库，一个文库多条Lane的实验设计。
凡是任务之间有复杂依赖关系的流程，都可以通过 zflow 简单实现。
zflow 生成 Shell 脚本后，可以通过插件向不同集群投递任务。如何做到这一点？这得益于 zflow 生成的 Shell 脚本有以下几个特点：
一个脚本是一个任务。
纯的 Shell 脚本，可以直接运行。
附带 Cpu 和 内存需求说明。
附带任务之间的依赖关系。
因此，zflow 生成的脚本，可以被后续的插件纳入 DAG （有向无环图）中，从而向任意集群投递任务。
最后顺便解释一下 zflow 的命名：z，是字母 a-z 的最后一个，暗含终极之意，zflow，可以称之为：终极 flow。
七、许可证 - 学术免费
zflow 支持学术免费使用，官网地址为：
https://github.com/jianzuoyi/zflow
欢迎 Fork、加星和下载。
如需商用，请联系【简说基因】团队获得授权。商用权利：
获取程序所有源码。
可协助适配任意集群的任务投递，保证真正落地可用。
赠送两条成熟的生信流程：转录组 Hisat2 + Stringtie 定量（Galaxy 平台同款）、肿瘤 WES 变异检测。可直接用于生产，也是单样本和配对样本流程搭建的范例。
一年内使用 zflow 流程搭建相关的问题咨询。
很多生信流程，值得用 zflow 重写一遍。
云上转录组分析流程（点击图片跳转）
一文读懂scRNA-seq数据分析（点击图片跳转）
如何自学生物信息学：从菜鸟到专家（点击图片跳转）
往期精彩：
网上最全的 R 语言图库（建议收藏）| 简说基因 Recommend
生物信息学必备的R语言相关参考书 | 简说基因 Recommand
关于简说基因
生信平台
Galaxy中国（UseGalaxy.cn）致力于打造中国人的云上生物信息基础设施。大量在线工具免费使用。无需安装，用完即走。活跃的用户社区，随时交流使用心得。
联系方式
QQ交流群（免费）：925694514
微信交流群（免费）：加微信好友，注明“Galaxy交流群”
客服微信：usegalaxy
1279
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
