云场景实践研究第80期：华大基因

更多云场景实践研究案例，点击这里： 【云场景实践研究合集】联合不是简单的加法，而是无限的生态，谁会是下一个独角兽
作为全球最大的基因组学研究中心，华大基因在阿里云的帮助下，实现了海量数据的及时获取、快速分析、安全储存。本文将带领大家一同了解华大基因的基于大数据分析的云计算实践之路。

“ 基因组学数据是“天然”的大数据，计算分析的价值会超过测序本身，与云计算和大数据技术的结合是行业的需要。”

——黄泽辉

华大基因 BGI Online 产品总监

---

采用的阿里云产品

阿里云云服务器 ECS

阿里云对象存储 OSS
阿里云归档存储 OAS
阿里云专有网络 VPC
阿里云DDoS高防IP （云盾）

阿里云大数据计算服务 MaxCompute

阿里云 E-MapReduce

阿里云批量计算服务 BatchCompute

---

为什么使用阿里云

通过使用阿里云平台，不仅降低了数据分析门槛，用户也可直接在线上简单操作即可完成启动分析。

借助阿里云云计算，解决数据存储、传输、分析、安全问题。

---

关于华大基因

华大成立于1999年，是全球最大的基因组学研发机构。华大以“产学研”一体化的创新发展模式引领基因组学的发展，通过遍布全球的分支机构与产业链各方建立广泛的合作，将前沿的多组学科研成果应用于医学健康、农业育种、资源保存等领域，推动基因科技成果转化，实现基因科技造福人类。

---

华大基因痛点

随着生命科学领域数据爆炸式的增长，如何及时获取、快速分析、安全储存这些庞大的数据是华大基因急需解决的问题。

---

为什么选择阿里云？

通过阿里云平台降低数据分析门槛、简化用户操作

人一生的基因数据的管理和存储数据量相当庞大，而华大基因提供的基因快速检索和查询，涉及到基因数据在数据分析中的降维过程。过程中数据密集型和CPU密集型的计算分析任务，计算能力要求高，结果文件种类繁多，数据非结构化，不利于数据挖掘和可视化。目前使用了多地测序中心，用户分布广泛，数据共享和传输困难。

传统方案是基于大型计算设备和存储设备购买来解决，出于成本和服务器跟进速度的考量，华大基因 BGI Online 则搬到了云上，并且在分析层面上给用户定制化和个性化体验。不仅降低了数据分析门槛，用户也可直接在线上简单操作即可完成启动分析。

借助阿里云云计算，解决数据存储、传输、分析、安全问题

BGI Online作为大规模生物信息的分析平台，堪称基因行业的“应用市场”。依托部署在阿里云计算平台的服务，BGI Online更轻松地拥有了处理大规模基因组数据分析的能力。

基于BGI Online的基因数据分析需求，华大基因在阿里云平台上，设计了计算资源弹性伸缩、多级存储、海量存储计算与数据安全的云平台架构。

通过专线接入，来传输测序中心几十TB/day的数据；通过平台多数据中心部署，计算能力放至数据所在地，为美国、欧洲与中国等提供测序；混合使用阿里云的多种计算服务，数据通过 OSS来互通。通过 ECS在线上高灵活度地输出基因测序、利用 批量计算测序可大规模降低成本、 MaxCompute实现MapReduce小时级测序。

合作过程中，阿里云为华大基因提供了企业级支持服务和专家服务，保障华大基因的云上业务搭建与运转。包括指导产品选型与使用技术、提供APM报告及相应性能的分析优化；排查整改系统安全隐患、对生产高峰的任务支持进行专门保障。从曾经三四天才能输出一人基因分析，到如今实现了22小时内达成千人基因组分析的人类梦想。

华大基因通过阿里云为BGI Online（安全、⾼效、易⽤的⽣物信息服务云平台，为⽣物信息领域的各类科研工作者和工具开发者提供便利）注入弹性，同时也释放了每个数据中心部署耗费的大量人力、财力和物力，其总体架构如下：

前端通过WEB服务呈现系统业务和提供用户操作，WEB请求通过SLB做负载均衡，并在阿里云提供的VPC和云盾的防护下提供高可用的服务。
后端管理系统的业务数据和处理业务逻辑，后端服务部署在多台ECS上，并采用RDS服务存储业务数据。
任务管理引擎接受前端请求，管理计算资源实现生物信息数据的分析，阿里云提供了海量的ECS节点，并对每个ECS节点提供了完整、详细的API文档，通过对接ECS节点实现了计算资源的弹性伸缩和强大的分布式计算能力。
存储管理负责基因数据的存储和管理，运用OSS和OAS实现了基因数据的冷热存储，除了OSS和OAS本身提供的加密存储外，还对接OSS服务实现数据的去身份化，提高了平台的安全性。
文件传输通过部署在ECS上的服务提供，庞大的基因数据上云是数据流的起始端和瓶颈，阿里云通过铺设阿里机房到华大集群的专线，提升了数据传输的速度。

---

迁移上阿里云后的成效

实现了用户定制化和个性化体验，不仅降低了数据分析门槛，用户也可直接在线上简单操作即可完成启动分析。云上业务搭建与运转获得了保障，包括指导产品选型与使用技术、提供APM报告及相应性能的分析优化。在2016年，基于华大基因开发的新一代基因云计算平台BGI Online，华大基因、阿里云和安徽医科大学三方共同协作在21小时47分12秒内完成了1000例人类全外显子组数据的分析，创造了基因数据分析的“深圳速度”。

关于华大基因的更多实践详情： 基因大数据分析的云计算实践 、 金鑫：基因应用现状解析及华大基因的数据平台架构

原文发布日期：2018-1-10

云栖社区场景研究小组成员：董普庆，仲浩。