生物效应大数据评估聚类算法的并行优化

生物效应大数据评估聚类算法的并行优化

彭绍亮1,2，杨顺云2，孙哲1，程敏霞1，崔英博2，王晓伟2，李非3，伯晓晨3，廖湘科2

1. 湖南大学信息科学与工程学院＆国家超级计算长沙中心,湖南 长沙 410082

2. 国防科技大学计算机学院,湖南 长沙 410073

3. 中国人民解放军军事医学科学院,北京 100850

摘要：生物效应评估通过测定和分析生物制剂刺激各种人体细胞后的数字化转录组反应，能够快速确定相关的检测标识物和治疗靶标。基于潜在生物制剂作用下的细胞反应大数据，推测突发生物效应模式。综合考虑了MPI、OpenMP两级并行加速，移植优化了基因探针富集分析（GSEA）比对算法和聚类算法，使用不同的数据量和并行度验证了优化后算法潜在的良好可扩展性和快速处理海量生物信息数据的能力。

关键词：GSEA；聚类；MPI；OpenMP

doi:10.11959/j.issn.2096-0271.2018027

论文引用格式：彭绍亮, 杨顺云, 孙哲, 等. 生物效应大数据评估聚类算法的并行优化[J]. 大数据, 2018, 4(3): 24-36.

PENG S L, YANG S Y, SUN Z, et al. Parallel optimization for clustering algorithm of large-scale biological effect evaluation[J]. Big Data Research, 2018, 4(3): 24-36.

1  引言

近年来，随着生物技术的发展，生物信息的数据量达到了一个更高的级别，生物医药领域的实验手段和研究方法均发生了巨大的变革，呈现出“大数据”的趋势，传统的单机计算已经不足以应对海量的数据和繁重的计算任务。对于大数据处理，常用的思路是并行计算，其包括多进程和多线程两种并行等级。生物效应分析流程主要包括比对和聚类。本文主要针对大量药物化合物制剂刺激下人体细胞反应的基因表达谱数据，完成细胞反应大数据的分析处理。主要分为以下3个步骤。

● 数据预处理：利用开源工具1KTools对整合网络细胞印记库（library of integrated network-based cellular signatures，LINCS）的原始基因谱数据进行预处理，得到实验核心程序能够使用的数据格式并写出文件。

● 基因探针富集分析（gene set enrichment analysis，GSEA）算法的核心实现：利用预处理后的数据完成富集积分矩阵的计算，采用MPI+OpenMP二级并行的策略负载均衡地划分数据，充分利用资源完成计算，并按进程写出结果文件。

● 并行聚类：以比对结果为输入，实现K-medoids[1]聚类算法及其优化，并对每次迭代过程同样利用MPI+OpenMP二级并行的策略进行并行化加速，最后将聚类结果写出到文件，每个表达谱归属于某一聚类。

2  相关工作

2.1 生物效应评估方法

随着生物技术的飞速发展，特别是以新一代测序技术为代表的高通量分析技术的发展，生命科学的年数据产出能力已经达到PB级，呈现出“大数据”的趋势，涉及海量的组学数据、文献数据、临床数据等。仅公开的数据库（如GEO[2]、ArrayExpress[3]、TCGA[4]等）就包含了大量病原微生物感染刺激下人体细胞反应的基因表达谱数据。2010年美国国立卫生研究院（NIH）启动了LINCS项目[5]，其目标是系统地检测15 000种化学分子对15种典型人体细胞刺激后的基因表达情况。目前该计划第一期已获得15种典型细胞中3 000余个基因沉默和5 000余种化学小分子刺激下的130余万个全基因组表达谱。

“生物效应评估”字面上理解就是评估这些生物制剂对人体细胞产生的效应，具体而言就是指评估这种生物制剂究竟会致使某种疾病还是治愈某种疾病。从而仅通过计算手段快速确定相关的检测标识物和治疗靶标，极大地缩短防治手段的研发过程，以快速有效地应对可能的生物威胁，给人类健康提供更多的保障。

对于转录组数据的比较指标，采用了GSEA[6-8]算法中提出的富集积分，它基于排序的Kolmogorov-Smirnov检验统计量计算方法，并且采用显著性分析、多重假设检验的方法对得到的富集积分进行统计分析，衡量结果的可靠性。

2.2 高性能计算技术在生物效应评估中的需求

目前GSEA在表达谱分析中得到广泛应用，随着 RNA-seq和低成本转录组L1000技术的流行，越来越多的大规模转录组数据出现，对于这样大规模的数据分析研究，往往需要快速的GSEA计算过程以支持数据挖掘和机器学习应用。于是，为了应对大数据场景下快速计算的需求，就有了利用超级计算对计算过程进行分布式并行加速的必要。

目前国内高性能计算技术也取得了丰硕的成果，其与世界先进水平高性能计算机之间的差距正在逐步缩小，6次蝉联超级计算机Top 500第一名[9]的“天河二号”代表着我国超级计算机的卓越成绩。

3  算法介绍

3.1  GSEA算法

GSEA算法主要用于分析两个不同表形样本集之间的表达差异，其基本思想是检验所定义基因集（gene set）S中的基因在整个微阵列实验