https://academic.oup.com/bib/article/23/3/bbac104/6553934DFELMDA：Identification of miRNA–disease associations via deep forest ensemble learning based on autoencoder
Abstract
越来越多的证据表明，人类复杂疾病的发生与microRNA（miRNA）的变异和失衡密切相关。 因此，预测疾病相关的miRNAs对于复杂人类疾病的诊断和治疗至关重要。 虽然目前的一些计算方法可以有效预测潜在的疾病相关miRNAs，但预测的准确性还有待进一步提高。 在我们的研究中，提出了一种新的基于自动编码器的深度森林集成学习的计算方法(DFELMDA)来预测miRNA-疾病的关联。 具体来说，提出了一种新的特征表示策略，为每个miRNA-疾病关联获得不同类型的特征表示（来自miRNA和疾病）。 然后，通过两个深度自动编码器提取两种低维特征表示，用于预测miRNA与疾病的关联。 最后，通过深度随机森林获得miRNA与疾病关联的两个预测分数，并将其结合来确定最终结果。 在人类微小RNA疾病数据库(The Human microRNA Disease Database，HMDD)数据集上，将DFELMDA与几种经典方法进行了比较。 结果表明，该方法性能优越。 DFELMDA通过5折和10折交叉验证得到的接收机工作特性曲线下面积(AUC)值分别为0.9552和0.9560。 此外，不同疾病类型的结肠、乳腺和肺部肿瘤的病例研究进一步证明了DFELMDA在预测疾病相关的miRNA-疾病方面的卓越能力。 性能分析表明，DFELMDA可以作为预测miRNA与疾病关联的有效计算工具。
关键词：miRNA与疾病关联预测，深度森林集成学习，深度自动编码器，特征表示
INTRODUCTION
microRNAs（miRNAs）是一类含有约22个核苷酸的单链内源性短RNA,在细胞生长[1]、代谢[2]、增殖[3]、免疫反应[4]、肿瘤侵袭[5]和细胞周期调控[6]等多种生命过程中发挥着重要作用。 miRNAs是具有调节功能的RNAs，其主要功能是通过与靶mRNAs的碱基配对来调节基因表达水平[7,8]。因此，通过生物信息学方法预测与疾病相关的miRNAs可以有效地促进疾病的预防、诊断和治疗。越来越多的关于miRNA与疾病关系的基本信息被发现和收集在不同的数据库中，如HMDD（http://www.cuilab.cn/hmdd）和人类癌症差异表达miRNA数据库（database of Differen-
tially Expressed MiRNA in human Cancers dbDEMC）(http://159.226.118.44/dbDEMC/index.html)。遗憾的是，数据库中已证实的miRNA与疾病的关联严重不足，使用传统的生物学实验方法鉴定新的miRNA与疾病的关联成本高，具有一定的盲目性。 因此，有必要构建有效的计算模型来补充生物学实验过程，以预测miRNA与疾病之间的潜在关联[9-12]。
在生物信息学方面，已开展了多种研究，如lncRNA与蛋白质相互作用[13]、miRNA与lncRNA相互作用[14]、circRNA与疾病关联预测[15]等。 这些研究在一定程度上促进了预测miRNA与疾病关联的方法的发展。 目前，许多计算方法被用来预测miRNA与疾病的关系 。它们可以分为两大类：基于复杂网络的和基于机器学习的。 基于复杂网络的预测方法是通过整合多个生物数据构建异构网络来预测患病的miRNAs。 这些方法主要基于一个普遍的假设，即具有相似功能的miRNAs往往与具有相似表型的疾病相关，反之亦然[16-19]。 在此基础上，Jiang等人 [20]开发了一个评分系统来预测疾病相关的miRNAs。 他们首先基于miRNA功能相似性、疾病相似性和已知的miRNA与疾病的关联构建了异构网络。 然后，他们使用超几何分布来预测miRNA与疾病关联的强度。 然而，高假阳性和假阴性影响了预测性能。 2012年，Chen等人[21]提出从全局角度考虑关联预测，并开发了一种带重启的随机游走算法（a random walk algorithm with a restart）来预测miRNAs与疾病的关联。 考虑到大多数基于随机游走的模型不能预测孤立的疾病相关miRNAs,Zeng等人[22]利用结构扰动来推断基于网络结构一致性的miRNA与疾病的关联。 为了提高预测精度，Chen等人 [23,24]在2016年提出了一种基于异构图推断miRNA-疾病关联的预测方法(HGIMDA)和一种基于网络集成的miRNA-疾病关联内、间评分的预测方法(WBSMDA)。 作为改进，陈等人[25]提出了矩阵分解和异构图推理的预测模型。 在该模型中，首先利用矩阵分解来降低邻接矩阵中噪声的影响，然后构造出与HGIMDA相同的异构图。 2018年，陈等人[26]开发了一种网络投影方法，二部网络投影，用于miRNA与疾病的关联。 该方法首先利用凝聚层次聚类（agglomerative hierarchical clustering ）构造miRNAs和疾病的偏差分数，然后利用二部网络推荐方法反映miRNAs和疾病资源在分配过程中的偏好差异，从而提高预测精度。不幸的是，偏好分数的计算依赖于足够的数据，但已知的关联（阳性样本）较少，未知的关联（阴性样本）较多。 针对阳性和阴性样本之间的平衡问题，Li等人 [27]通过使用具有线性邻域相似性的标签传播的半监督模型来预测潜在的miRNA与疾病的关联。 该模型在已知关联的基础上建立网络，通过网络传播计算未知关联的标签。 基于复杂网络的方法是有利的，因为它们的计算过程相对简单。 然而，它们的预测结果严重依赖于已有的相关信息。此外，获得 miRNA 与疾病关联的广泛而复杂的相互作用机制是具有挑战性的。
近年来，机器学习，特别是深度学习在生物信息学中也得到了广泛的应用。 基于机器学习的预测模型一般选择已有的miRNA与疾病的关联作为正样本，随机选择一些未知关联作为负样本，训练相应的分类器，然后对未知关联进行预测。 例如，Xu等人[28]训练支持向量机(SVM)来投射与前列腺癌相关的miRNAs。 但该模型仅针对前列腺癌这一特定疾病提出，可能不适用于其他疾病的预测。 为了克服监督学习模型中负面样本不足的问题，Chen等人[29]提出了一种半监督算法，即正则化最小二乘法用于miRNA与疾病关联预测(RLSMDA),该算法适用于识别与孤立疾病相关的致病性miRNA,且不需要阴性样本。 类似地，Chen等人[30]提出了用于miRNA与疾病关联的Laplacian正则化稀疏子空间学习预测方法。 该方法首先从miRNAs（疾病）相似矩阵中提取miRNAs（疾病）的统计特征和图论特征，然后构造miRNAs（疾病）子空间的目标函数、L1范数约束和Laplacian正则项，最后优化目标函数以获得预测结果。 然而，该方法涉及的参数较多，因此对参数的合理设置具有挑战性。 此外，Zhao等人[31]提出了一种基于自适应增强的计算模型。 为了平衡阳性和阴性样本，作者通过K-means聚类选择与阳性样本数相近的阴性样本。 然而，上述方法不适合预测miRNA与疾病的关联类型。 因此，陈等人[32]提出了受限玻尔兹曼机(RBM)的miRNA与疾病关联预测模型，用于预测四种不同的miRNA与疾病关联。 然而，该模型只考虑了可见层和隐层之间的联系，因此未能对miRNAs与疾病的关系进行全局预测，导致预测精度不理想。 因此，Chen[33]训练了一个深度信念网络模型。 作者获得了miRNA-疾病对的特征，并将其用于RBM的预训练。 然后，在RBM中添加一个输出层，并通过监督方法进行微调。 为了解决特征问题，Peng等人[34]训练了一个基于三个网络的自动编码器，该网络具有一个额外的目标基因层，用于提取高质量的特征，然后，利用CNN识别与疾病相关的miRNAs。 虽然这些机器学习方法取得了良好的性能，但它们也面临着两个局限性。 首先，当前数据库中没有经过验证的阴性样本。 其次，获得合适的miRNA和疾病特征表示是一个挑战。
总之，尽管基于复杂网络的方法计算过程相对简单，但其预测结果严重依赖于已知的关联。 虽然基于机器学习的方法具有优异的性能，但很难获得经过验证的负样本和有效的特征表示。 这些都是目前miRNA与疾病关联预测精度不能进一步提高的原因。
为了克服这些问题，我们提出了一种基于自动编码器的深度森林集成学习模型(DFELMDA)来预测疾病相关的miRNAs。具体来说，
首先整合不同类型的信息，包括miRNA-miRNA相似网络、疾病-疾病相似网络和已验证的miRNA-疾病关联，以获得每个miRNA-疾病关联的两种类型的特征表示。 其次，为了提高预测miRNA-疾病关联的性能，训练了两个自动编码器（一个基于miRNAs的自动编码器和一个基于疾病的自动编码器）进行特征降维。 最后，利用低维特征训练随机森林(RF)来推断新的miRNA与疾病的关联。
进行交叉验证以验证模型的性能。 结果表明，DFELMDA在5折和10折交叉验证中分别获得了0.9552和0.9560的接收机工作特性下曲线面积。 将该方法与相关模型和其他机器学习分类器进行了比较，结果表明该方法具有较好的预测性能。
进行了案例研究，进一步论证了DFELMDA的预测能力。 结果表明，我们的方法预测的大多数潜在的miRNA与疾病的联系已经得到了实验证实。
MATERIALS AND METHOD
Human miRNA–disease associations
本研究中使用的数据集是从HMDD V2.0数据库下载的[35]。 这些数据包括495个miRNA，383个疾病和5430个实验证实的miRNA-疾病关联。 数据集存储为具有495×383个miRNA与疾病关联的矩阵A,其中A(i，j)=1表示miRNA m(i)与疾病d(j)相关； 否则，它们是不相关的。
Functional similarity of miRNA
根据与类似疾病相关的两个miRNAs具有相似功能的假设，Wang等[36]建立了miRNA功能相似性数据，可从http://www.cuilab.cn/files/images/cuilab/misim.zip下载。 在本研究中，我们构造了一个矩阵FS来描述两个miRNA之间的功能相似度，其中元素FS(U，V)是miRNA U和V之间的功能相似度。
Semantic similarity of disease
利用疾病本体信息[37]构造疾病语义相似网络，其中包含多个有向无环图（DAGs）。 为了得到更可靠的描述，使用了两种疾病语义相似度模型来计算疾病语义相似度。
这里，疾病 i 可以表示为图
，其中
是与疾病 i 相关的疾病节点集，
是与疾病 i 相关的边集。 祖先节点 T 对疾病 S 的语义贡献值 D1 计算如下：
语义贡献因子
根据前人的研究通常设置为0.5[36]。 从疾病 S 及其祖先出发，可以用公式定义疾病S的语义值
根据疾病间共享的DAG越多，相似度越高的原则，利用下式计算两个疾病X和Y之间的语义相似度SS1(X,Y）：
但是，对于两种疾病在DAG中处于同一水平但对疾病S有相同的贡献的发生概率不同是不合理的，在DAG中发生频率较高的疾病对S的贡献应该小于发生频率较低的疾病。 因此，DAG中疾病t对疾病S的语义贡献可以计算如下：
类似地，疾病的语义值和疾病之间的语义相似度可以分别由公式（5）和（6）计算，
为了更合理地获取疾病的语义相似度，将这两种计算方法与下式相结合，计算出最终的疾病语义相似度SS
Gaussian interaction profile kernel similarity for diseases and miRNAs
根据一般生物学假设，如果两个miRNAs之间的功能更相似，就更有可能与表型相似的疾病相关[38]，疾病 d（i） 和 d（j） 之间的高斯互作谱(GIP)核相似性计算如下
其中γd控制核带宽，nd表示疾病数目，IP(•）是矩阵中的某一行。
与疾病相似，miRNAs m(i) 和 m(j) 之间的GIP核相似性定义如下：
其中
根据先前的研究设为1[39]。
Integration of miRNAs and disease similarity
有些疾病具有语义相似性，而另一些疾病则没有，因此，利用疾病的GIP相似度来补充疾病的语义相似度，得到疾病的综合相似度。 因此，疾病X和Y之间的疾病相似度计算如下
类似地，miRNAs U和V之间的整合相似性定义如下
Deep forest ensemble learning model based on autoencoder
在这项研究中，DFELMDA被提出来预测miRNA与疾病的联系。 DFELMDA主要分为三个步骤：（一）提出了一种新的特征表示策略，从miRNAs和疾病中获得相同miRNA-疾病关联的不同表示，用于训练模型；（二）在miRNAs和疾病的基础上构造了两个深度自动编码器，用于提取低维特征表示；（三）通过RF预测两种类型的miRNA-疾病关联，并将其整合为最终结果。DFELMDA的流程图如图1所示。
Integrate feature representation for miRNA–disease associations
该部分从两个角度（miRNAs和疾病）考虑了miRNA-疾病关联的特征表示，并提出了一种获得同一miRNA-疾病关联的两种特征表示的新策略。
首先，使用公式（13）确定miRNAs之间的相似性，并获得每个 miRNA 495维向量
，其中
是miRNAs m(i) 和 m(j) 之间的miRNAs相似性。 类似地，得到了每个疾病的 383 维向量
。
其次，将经过验证的miRNA-疾病关联与
进行拼接，得到高质量的miRNA-疾病关联特征表示集
其中
是已验证的miRNA-疾病关联网络A的
行，
是A的第1列转置。
是一个包含495×383行和495+495列的矩阵，其中每一行表示来自miRNA的miRNA-疾病关联的特征表示。 
是一个包含495×383行和383+383列的矩阵，其中每一行代表了来自疾病的miRNA与疾病之间的关系。
最后，得到了两种相同miRNA-疾病关联的表征（miRNAs的495+495特征表征和疾病的383+383特征表征）。 这两种类型的特征表示分别用于miRNA与疾病的关联预测。 最后将两个结果合并成最终的预测分数。
Extract low-dimensional feature representation by deep autoencoder
前一节得到的miRNA与疾病关联的特征表示为990维和766维，是高维的。 众所周知，高维特征严重影响预测模型学习数据特征的效率，进而影响预测精度。 因此，为了保证后续miRNA与疾病关联预测的顺利实施，对特征表示进行特征降维是必不可少的。
虽然基于深度学习模型的多层结构具有更强的特征提取能力与传统的降维方法相比，这类模型由于其复杂的网络结构，需要大量的样本进行训练。 然而，样本不足一直是miRNA与疾病关联预测的最大挑战。 幸运的是，深度自动编码器有助于在缺少少量样本的情况下降低数据的特征维数。自动编码器是一个无监督的人工神经网络模型，通过最小化重建数据与原始数据之间的差异来挖掘和保存输入数据的潜在模式。
在我们的研究中，两个具有相同结构的自动编码器（图2）被训练用于从miRNAs和疾病中提取特征的低维表示。具体来说，模型训练涉及两个过程: 编码和解码。在编码阶段，两种类型的 miRNA-疾病关联的高维特征表示被提供给编码器以压缩特征和降低维数。具体公式如下:
其中 X 表示在2.6.1节中获得的miRNA与疾病关联的输入特征表示； W和B分别是编码的权重和偏差； 
是编码函数； H是编码器编码的输入特征的低维表示。
在解码阶段，解码器尝试将低维表示H恢复到与输入特征表示相同的外观，如下式所定义：
其中
分别表示解码的权重和偏置；
是译码函数； 而
是恢复的特征表示。
在最小化重建误差的基础上，对模型进行迭代收敛，得到每个miRNA-疾病关联的两种低维特征表示
其中 X 是
，x是X中miRNA与疾病关联的特征表示。
在这里，根据文献[40]，自动编码器的最终编码大小d被设置为128（橙色中间层），这意味着miRNA-疾病关联的所有特征表示最终被约简为128维。 然后，使用TensorFlow后端（版本2.1.0)，在Keras中训练上述网络结构。 在训练过程中，使用Adam作为优化器。
Predict miRNA–disease association by RF
所生成的低维特征表示
被用来训练一个分类模型，以预测miRNA与疾病的关联。为了避免特征维数和特征质量对miRNA与疾病关联预测的不利影响，本文选择RF作为分类器。RF[41]是在Bagging集成学习的基础上加入随机性（样本随机性和属性随机性）得到的。 该模型具有较强的鲁棒性和泛化能力，因此在生物信息学领域得到了广泛的应用[42-45]。 在RF的训练过程中，样本和特征的选择是随机的，这意味着RF对样本和特征质量的要求不像其他分类器那样苛刻，即使输入数据中的某些特征缺失，仍然可以保持精度。 另外，RF比其他分类器更适合于处理高维数据。 这完全符合我们的需要。
在我们的研究中，实验数据集由自动编码器输出的128维特征向量集表示。 给定训练数据，步骤如下：
1）以放回的形式从训练集中抽取若干样本，进行K次抽样，训练出K棵分类回归树(CART)决策树。
2）利用Gini系数计算出的最优分割变量，通过节点分割建立CART决策树。
3）重复前面的步骤k次，得到k个CART决策树。
4）根据K CART决策树的结果用多数规则预测miRNA与疾病的关联，
其中K=100（参考文献[46])，X是样本集，
是第ith分类在x中的比例，
是取 f 的
值的X的样本集。 RF的示意图如图3所示。
用
训练的两个RF分别获得相同miRNA与疾病关联的两个预测分数，即
。 然后，miRNA与疾病关联的最终预测分数可以通过将两个预测分数结合起来计算，如下所示：
在这里，miRNA评分和疾病评分对最终评分的贡献同样重要。 实际上，为了这个分数的获取，我们做了不同比例(1:0、0:1、0.7:0.3、0.3:0.7和0.5:0.5)的miRNA分数和疾病分数的实验。 结果见补充表1（可在https://academic.oup.com/bib网上查阅补充数据）。 根据结果，我们最终选择了0.5:0.5的比例作为最终比例。
Experimental setup
我们的方法是在TensorFlow框架中实现的。 一个990维和一个766维的向量被用来表示miRNA与疾病关联的特征。 利用Keras库实现了用于提取低维特征的AutoEncoder。 在训练过程中，batch size 设置为100，采用the adaptive moment estimation(Adam)优化器作为优化器，学习速率为0.001。
RESULTS
在本部分中，我们进行交叉验证实验，使用传统的度量方法来研究DFELMDA的性能，并实施案例研究来进一步评估DFELMDA预测miRNA与疾病关联的能力。
Evaluation metrics
为了获得系统可靠的实验结果，对DFELMDA进行了5折交叉验证（5折CV）和10折交叉验证（10折CV）。 在5折CV（10折CV）中，所有样本被随机分成5（10）个近似相同的部分，其中4（9）部分用于训练，剩余部分用于测试。 重复实验，直到所有的组成为测试集一次，然后平均结果得到最终的结果。随着阈值的变化，计算假阳性率(FPR)和真阳性率(TPR)。 然后根据TPR和FPR绘制ROC曲线[47]，直观地展示我们的模型的性能。 总体性能以AUC以下的面积进行评估[48]。 AUC越高，预测性能越好。 此外，为了全面评价该算法的性能，我们使用了几个常用的度量指标，包括Accuracy(Acc)、Sensitivity(Sen)、Specificity(Spe)、Precision(Pre)、Matthews相关系数(MCC)和精确度查全率曲线下的面积(AUPRC)。ACC、SEN、SPE、PRE和MCC可以计算如下：
Comparison with other methods
为了评价DFELMDA在发现潜在的miRNA-疾病关联方面的优越性，本文将DFELMDA与几种先进的方法（TCRWMDA,RLSMDA,基于核岭回归的miRNA-疾病关联预测(EKRRMDA),改进的基于协同过滤的miRNA-疾病关联预测(ICFMDA)和用于miRNA-疾病关联预测的图形自动编码器模型(GAEMDA))进行了比较[49-51]。此外，他们的参数是根据相应文献中使用的值设置的。 所有六种方法的参数设置见补充表2（见http://academic.oup.com/bib在线补充数据）。 为公平起见，上述模型在同等条件下执行。
补充表3给出了所有方法在不同度量上的性能（见网上的补充数据，网址为https://academic.oup.com/bib）。 我们对每个指标的最佳表现值进行了加粗。 从表中可以看出，GAEMDA在所有比较的方法中性能最好。 因此，我们将DFELMDA和GAEMDA进行了比较，以分析我们方法的性能。 GAEMDA对SEN、PRE、MCC和AUPRC的作用优于DFELMDA，对ACC、SPE和AUC的作用不如DFELMDA。 仅从度量的数量来看，GAEMDA似乎远远超过了DFELMDA。 但是，我们应该注意到SEN、PRE、MCC和AUPRC的计算受多种因素的影响。 例如，当数据集不平衡时，AUPRC很容易导致不公平的结果。 相反，AUC是最无偏见的度量。 因此，我们倾向于使用AUC来评价模型的性能。
用DFELMDA实现的5折CV的ROC曲线如图4所示。 与其他五种方法相比，DFELMDA在AUC方面具有最好的性能。 在5折CV下，DFELMDA的AUC达到0.9552,而三层异构网络结合非平衡随机游走的MIRNA疾病关联预测算法(TCRWMDA)、RLSMDA、基于核岭回归的集成MIRNA疾病关联预测(EKRRMDA)、基于改进协同过滤的MIRNA疾病关联预测(ICFMDA)和基于图自动编码器的MIRNA疾病关联预测模型(GAEMDA)的AUCs分别为0.9208、0.8737、0.9307、0.9043和0.9353。 所提方法的平均AUC对于对比方法分别高出3.4、8.1、2.4、5.1和2% 。它展示了 DFELMDA 对潜在 miRNA-疾病关联预测的有效性。
为了进一步验证DFELMDA的能力，根据前人的研究，实现了10折CV。 如图5所示，DFELMDA的平均AUC为0.9560，即10折CV下的值为0.9584、0.9581、T0.9614、0.9628、0.9582、0.9502、0.9582、0.9567、0.9571和0.9532。 值得注意的是，5折CV和10折CV的AUC值仅相差0.0008。 这意味着DFELMDA的性能不受交叉验证中训练数据量和测试数据量的影响。
Comparison with different classifier models
为了进一步评价该方法的性能，我们将其与四种不同的分类模型（决策树、KNN、朴素贝叶斯和深度神经网络(DNN)）进行了比较。 结果表明，决策树、KNN、朴素贝叶斯和DNN的AUC分别为0.9150、0.9285、0.9222和0.9285。 图6显示了不同分类器模型的ROC曲线。 对比实验结果充分说明了DFELMDA的优越性。
Case studies
为了进一步证明 DFELMDA 在识别新的 miRNA-疾病关联方面的准确性，我们的模型在复杂人类疾病的案例研究中实施，即来自 HMDD v3 的结肠肿瘤 (CNs)、肺肿瘤 (LNs) 和乳腺肿瘤 (BNs)。将从数据库中获得的已知miRNA-疾病关联作为DFELMDA的训练集，并根据预测结果对所研究疾病的候选miRNA进行优先排序。此后，选择前50个候选miRNA并在HMDD、dbDEMC或microRNA癌症关联数据库（miRCancer）数据库中一一检查。在 CN、LN 和 BN 中发现的前 10 名 miRNA 列于表 1。CN 是全世界死亡率很高的癌症 [52]。近年来，CN的发生发展及其分子水平的致病机制引起了越来越多学者的关注。同样，许多方法，包括相关 miRNA 的预测，被用于疾病研究以降低 CN 的发病率和死亡率。因此，对 CN 进行了案例研究，我们的结果表明，使用我们的方法预测的前 50 个相关 miRNA 中有 48 个与 HMDD、dbDEMC 或 miRcancer 数据库中已证实的关系一致。补充表 4 中列出了 miRNA 与疾病的前 50 个预测关联（参见 https://academic.oup.com/bib 在线提供的补充数据）。
DISCUSSION AND CONCLUSION
884
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
