经验｜ 如何在 AWS 上使用 Nextflow

客户名称：转化基因组学研究所 (TGen)
所属行业：医疗
一句话认识：转化基因组学研究所 (TGen) 是一家领先的非营利组织，专注于通过基因组研究取得改变生命的结果。

“WaveRider 会为 NextFlow 启动的数千个作业中的每一个选择最合适的虚拟机类型。 这让我比以往任何时候都更有效率，简直太酷了。”
– Vince Pagano，TGen高级科学程序员

面临的挑战：

大规模云成本优化并不容易
TGen 很难在 AWS 上经济、高效地运行其大型 Nextflow 工作流程。 使用按需 EC2 实例成本太高，尤其是对于需要数千个节点的大型作业而言。 而使用廉价的 Spot EC2 实例听起来不错，但实际上失败率可能高达 80%，导致完成时间更长，因为失败的作业必须多次重新启动，而且成本节省也难以预测。

我们的解决方案：

更高的可见性、效率和性能 = 更好的研究
TGen 利用 MemVerge Memory Machine Cloud 在 AWS 上执行 Nextflow 工作流。 FLOAT、SpotSurfer、WaveRider 和 WaveWatcher 等 Memory Machine Cloud 功能与 Nextflow 无缝集成，更好支持业务在云端运行。
• 自动化云资源管理 (FLOAT)
• 深入洞察云资源利用率（WaveWatcher）
• 成本和性能优化（SpotSurfer + WaveRider）

改善云端 Nextflow 运行体验
自从部署 Memory Machine Cloud 以来，TGen 现在能够在 AWS 上轻松、经济、高效地运行其工作流程，而无需支付按需 EC2 的高成本，也不会因完全在 Spot EC2 上运行大型工作流程而产生高故障率。
• 作业级资源利用率报告和分析可视化
• 故障率从 80% 降为不到 1%
• 运行时自动调整EC2 实例大小

“我使用 Spot EC2 时批量失败率高达 80%，现在使用 SpotSurfer，我们已经将因spot回收而导致的失败率降至 1% 以下。”
– Vince Pagano，TGen 高级科学程序员