使用北鲲云在AWS上运行基因分析HPC任务

背景

  近三十年来，生命科学与计算科学飞速发展。生物信息学是一门生命科学与计算科学的前沿交叉学科。生物信息学产生和迅猛发展的主要推动力来自于新一代测序等高通量技术在生命科学领域越来越广泛的应用。 基因组学是这一趋势的一个主要例子，其中高通量下一代测序 (NGS) 设备被用于对 DNA、mRNA、调控区域、肠道微生物组等进行测序。计算工作流程也在快速开发和标准化，并且支持动态进行扩展。随着大量基因组数据的收集，处理时间通常在数十亿核心小时的数量级，处理成本也相应增加。因此，客户正在寻找运行时间最短、成本最低的优化工具和系统。通常清况下有2种方式可供选择。 第一种是建设本地计算集群。一方面建设本地大型计算集群成本昂贵，同时峰值负载的能力有限，项目的周期也相对较长，前期成本投入很大。第二种是构筑云上的HPC平台。利用云资源可以快速构建云上HPC平台，云上还提供了最新技术和资源的快速访问，包括最新加速卡或减少计算所需时间的最新一代处理器。通过选择合适的实例类型，可以缩短总体计算时间。

在这篇博文中，我们将展示如何利用北鲲云HPC平台在AWS运行运行基因分析HPC任务。

概述

本指南将向您展示如何通过北鲲云控制台启动基于Amazon EC2构建的slurm集群，该集群提供有一个登录节点，您可以在此节点上通过简单配置结合AWS S3存储快速投递多个基因分析任务。

前置条件

在开始使用北鲲云平台之前您需要做下面准备：

1.拥有访问指定S3 bucket权限的1对AWS AK/SK。

2.用于存放计算输入文件的S3 bucket。

3.用于存放计算结果文件的S3 bucket,也可以使用输入文件bucket的不同目录作为区分。

您可以通过AWS S3控制台来快速创建S3 bucket并上传输入文件，如果已有bucket可跳过此