DeepRMethylSite:一种基于深度学习的蛋白质精氨酸甲基化位点预测方法

DeepRMethylSite:一种基于深度学习的蛋白质精氨酸甲基化位点预测方法

https://www.researchgate.net/publication/341890599_DeepRMethylSite_A_Deep_Learning_based_approach_for_Prediction_of_Arginine_Methylation_sites_in_Proteins

    甲基化是蛋白质转译后最突出的修饰之一，调节许多重要的细胞功能。尽管已经报道了几种基于模型的甲基化位点预测器，但是所有现有的方法都采用机器学习策略，例如支持向量机和随机森林，是基于一组“手动选择的”特征来预测甲基化位点。因此，后续模型可能偏向一组特征。此外，由于大量的特征，模型开发通常在计算上很昂贵。在本文中，我们提出了一种基于深度学习的替代方法来预测精氨酸甲基化位点。我们的模型，我们称之为DeepRMethylSite，比传统的基于特征的方法在计算上更便宜，同时消除了通过特征选择可能出现的潜在偏差。基于对数据集的独立测试，DeepRMethylSite在灵敏度、特异性和马太相关系数方面的效率得分分别为68%、82%和0.51。重要的是，在与其他最先进的甲基化位点预测因子的并行比较中，我们的方法在所有测试的评分指标中表现相同或更好。

1.正式介绍
甲基化是一种研究充分的翻译后修饰(PTM)，主要发生在精氨酸(Arg:R)和赖氨酸(Lys:K)。尽管用于鉴定甲基化位点的传统方法，如串联质谱、甲基化特异性抗体和ChIP-Chip，已经对全球甲基化谱提供了重要的见解，但这些方法昂贵、耗时且需要高水平的技术专业知识。随着已知甲基化位点数量的增长，计算机方法已经成为一种高效、经济的策略来补充和扩展甲基化位点鉴定的传统实验方法。
已经建立了各种计算模型来预测甲基化PTMs。通过PTM预测有两个主要的观察结果。首先，与用于训练早期甲基化位点预测因子的数据集相比，已知甲基化位点的数量急剧增加。其次，预测器模型的性能随着机器学习模型的使用而提高，例如支持向量机(SVM)、随机森林(RF)和基于组的算法。虽然人们认为包含结构特征的预测会做得更好，但在结构信息的可用性和序列数据的可用性之间存在巨大的差距。这种知识差距会对模型开发和性能产生重大影响。因此，一些模型如MeMo使用顺序特征，而其他模型如Chou等人开发的模型使用结构特征。与此同时，还有一些如GPSMSP只使用一级氨基酸序列。重要的是，在所有情况下，特征选择都是基于一系列人工选择的特征，如伪氨基酸(PseAAC)组成、香农熵（SE）和其他可能给模型开发带来偏差的特征。
因此，为了减少偏差，同时降低模型开发所需的复杂性和时间，我们开发了一种基于深度学习的方法，该方法能够替代手动选择的特征，并且仍然有助于提高预测器的性能。虽然有一些用于DNA甲基化位点预测的深度学习模型，所有现有的蛋白质甲基化位点方法都是基于特征选择的。
据我们所知，这项工作是第一次应用深度学习来预测蛋白质中的甲基化位点。此外，在我们的工作中，我们提供了(1)精氨酸甲基化PTMs的改进数据集；(2)基于喀拉斯2D卷积层网络的集成深度学习模型，以及用于预测PTM站点的长短期记忆(LSTM)模型；(3)基于10倍交叉验证结果的参数选择，以检验模型的性能；(4)独立测试结果验证了我们的模型与最先进的模型的性能。总的来说，我们的模型，我们称之为DeepRMethylSite，与以前发表的Arg甲基化位点预测因子相比，表现出了更好的性能。
2.材料和方法
2.1数据集准备
为了构建我们的训练数据集，我们使用了由DBPTMv3、phosphorsiteplusv6.5.8和Uniprot数据库提供的Arg甲基化数据集。我们查询了Uniprot数据库，从2017年以后出版的出版物中获得实验验证的甲基化位点。总体而言，我们的数据集包含来自5725种独特蛋白质的12976个Arg甲基化位点。
为了构建正向的数据集，我们生成了一个窗口大小为51，甲基化Arg位点位于中心，甲基化位点的上游和下游各有25个氨基酸。同时，阴性数据集也是在未知甲基化的精氨酸位点附近生成的.
接下来，我们移除正负数据集中的任何重复序列。此外，如果我们在正数据集和负数据集之间发现重复序列，我们将从负序列中移除重复序列。我们将新的正负数据集称为“干净”数据集。由于Arg甲基化序列在物种间通常是保守的，我们正在建立一个通用的非特异性模型，我们发现了许多在这个过程中被删除的重复序列。去除重复后，10429个Arg甲基化位点保留在干净的阳性数据集中，305700个未甲基化的Arg位点保留在干净的阴性数据集中。最后，我们使用80%的干净数据集作为训练和验证集，并留出剩余的20%的干净数据集作为独立测试集(图1)。使用两个标志图进行统计分析，以确认甲基化数据集遵循实验性精氨酸甲基化位点的趋势(ESI中的图S1)。
也许并不奇怪，我们注意到正负数据集之间有很大的不平衡。这可能是由于这样一个事实，即只有阳性位点被报道，而阴性组由那些尚未被发现甲基化的Arg残基组成。因此，为了平衡正负数据集，我们使用了imblearn包中的欠采样。欠采样是一种技术，其中具有较大样本数量的集合被修剪，以创建与另一个集合的平衡。有许多方法可以处理数据集的不平衡性质。PTM数据集的不平衡性质很容易产生假象，这是由于与实验验证的阳性样本数量相比，对阴性样本数量的了解有限。一般来说，有两种平衡数据集的方法，一种是通过操纵数据集，另一种是通过使用考虑数据集不平衡性质的成本函数。在操纵数据集的方法中，可以综合增加正样本以匹配负数据集的大小，称为过采样，或者可以减少负数据集以匹配正数据集的大小，称为欠采样。在我们的例子中，我们使用Scikit学习包进行欠采样。表1总结了结果数据集。与PRmePRed中使用的Arg甲基化数据集相比，我们将数据集增加了8倍。

[图1：描述创建我们模型的步骤的流程图。从公共数据库中提取序列，并将数据集分为训练集、验证集和测试集。使用10倍交叉验证来优化每个模型的参数，然后使用独立测试来评估模型。CNN:卷积神经网络；LSTM:长期短期记忆]

表1平衡前(左)和平衡后(右)训练和测试组中阳性和阴性位点的数量。Train:训练子集；Val:验证子集

2.2输入编码
在大多数机器学习算法中，特征是从序列数据中提取的，因此，序列的有意义的数字表示被馈送到模型。相比之下，在深度学习中，序列本身用数字表示为编码，如下:
(1)一个热编码，其中每个氨基酸被定义为20长度向量，20位中只有一位为1，因此唯一地表示了20个氨基酸。它也被Wei等人用作特征，即20位特征。
2)嵌入整数编码，其中每个氨基酸被分配d维长的随机整数，其中d是参数。我们使用这种编码作为嵌入层的输入。嵌入层有助于将数据转换到指定的维度。由于编码随着每个时期而变化，因此与固定编码的热编码相比，这种编码的表示具有动态特性。因此，编码嵌入了通过深层架构/算法学习的表示。
深度学习因此绕过了特征提取的需要。为了进行比较，我们从同一个数据集中提取了甲基化相关特征，并将它们输入到基于树的分类器XGBoost，然后是几个机器学习算法。细节在ESI中提供。
2.3 DeepRMethylSite:集合模型
集成模型聚集两个或多个模型预测，以提高分类器的预测能力。在这里，我们创建了一个LSTM模型和CNN模型的合奏。LSTM模型通过细胞状态学习，而CNN模型使用不同的过滤器提取各种特征。该集成基于每个分类器获得的信任，聚集由CNN模型和LSTM模型学习的预测(图1和2C)。
每个成员预测用一个权重因子加权，并且预测被聚集以获得集合结果。每个分类器的权重是通过在(0，1)之间以0.1的步长进行网格搜索来找到的。为了获得适当的权重以防止模型开发过程中的过度拟合，创建了一个验证集来比较模型的训练和验证精度。这是通过在移除独立测试集后获取剩余的8344个阳性和阴性位点，并进一步将其分为训练集(由6676个不同的阳性和阴性位点组成)和验证集(由1688个不同的阳性和阴性位点组成)来实现的(表1)。然后使用L1归一化对权重进行归一化，并使用张量点来有效地实现预测的加权向量。因此，预测是权重与预测的张量乘积(方程(1))
Pred=W_1⋀¦y_1 +W_c⋀¦y_c （1）
其中W_1由LSTM提供权重，W_c由CNN提供权重，⋀¦y_1 和⋀¦y_c 是各自的预测值。

图2:(A)LSTM模型中使用的参数。(二)CNN模型使用的参数。(三)通过在CNN和LSTM模型上的网格搜索权重进行组合而生成的集成模型

**2.3.1 CNN模式。**该模型基于Keras卷积神经网络（CNN）。该模型由7层组成，包括特征处理层和输出层。第一层是嵌入层，它学习输入序列的特征表示。然后，λ层被用作卷积2D层的过渡层，其中添加额外的维度以匹配卷积层的输入形状。接下来，使用两个具有ReLu激活的卷积2D层。第一个卷积层禁用填充，下一层启用填充。卷积层的初始滤波器大小选择为(n-1)/2，3)，其中n是窗口大小。选择滤波器大小，使得窗口的中心残差包含在每个步长中，作为我们预测的中心残差目标。当填充被禁用时，来自第一卷积层的输出的尺寸改变，而当填充被启用用于第二层时，输出的尺寸保持不变。例如，如果第一卷积层的输出具有17*19维，它对于连续的层保持不变。然后，每个卷积2D层之后是0.6的漏失层，以避免过拟合。为了减少过拟合和实现更一般化的模型，使用了更高的辍学率。辍学通过从计算中剔除一些神经元来缓解深度学习模型的过度参数化。接下来，最大池图层计算要素地图每个面片的最大值，并提供输入的下采样表示。两个尺寸分别为768和256的隐藏层被使用，然后是0.5的脱落。最后，具有两个神经元的softmax层作为输出层，表示真假预测。该架构总结在图2B。

模型开发完成后，使用Adam进行了优化。Adam是一种基于自适应矩估计的算法，专门用于训练深层网络。Keras中的模型检查点功能用于保存关于验证准确性的最佳模型。图S2A提供了使用0.6的辍学率显示不同时期准确性变化的图。在实践中，当训练精度与验证精度相比略有提高时，模型应该停止学习，因此应该避免由于大量时期而过度拟合。表2给出了模型中使用的参数。
表2 CNN模型的参数

**2.3.2 LSTM模式。**长期短期记忆(LSTM)模型克服了消失和爆炸梯度递归神经网络中的问题(RNN),已知捕捉长期依赖性。LSTM由三个门组成:输入门、遗忘门和输出门，它们共同定义了由单元状态控制的数据流。LSTM帮助记忆细胞的状态，并有能力通过层保存每个序列，返回序列选项。此外，随着对细胞隐藏状态使用的增加，通过LSTM学习的能力是众所周知的。
在这里，我们使用了一个叠加的LSTM模型与CNN模型的方法进行比较，对精氨酸甲基化进行模型分类。该模型由四层组成:(1)输入层，它由嵌入层组成，通过随后的时期学习整数编码序列的最佳表示。嵌入层在一个维度上变换序列信息。因此，层的输出具有与LSTM层的输入尺寸兼容的形状(窗口大小、嵌入尺寸)；(2)LSTM层，由128个返回序列保持为真的神经元组成；(3)具有64个神经元的脱落LSTM层，脱落和反复脱落集各为0.5，双曲正切激活，其中反复脱落导致细胞内水平连接脱落；以及(4)具有2个神经元和软最大激活的输出层，其中两个神经元将分类总结为真或假(图2A)。该模型以Adadelta优化器和二元交叉熵为损失函数。表3总结了模型中使用的参数。类似于CNN模型，在Keras中的模型检查点函数被用来获得关于验证准确性的最佳模型. 在图S2B中提供了跨时期的精度变化。
表3 LSTM模式下使用的参数

2.4绩效和评估
为了评估每个模型的性能，我们使用混淆矩阵来确定灵敏度(SN)、特异性(SP)、准确性(ACC)和接收器操作特性(ROC)曲线作为性能指标。我们在基准训练数据集和独立测试集上使用了10倍交叉验证来评估模型。
ACC定义了总残基中正确预测的残基(方程式(2))。信噪比定义了模型区分正残基的能力(方程(3))，而速度测量模型正确识别负残基的能力(方程(4))。马修斯相关系数(MCC)是计算的分数，考虑了模型对阳性和阴性残留物的预测能力(等式(5))。同样，ROC曲线提供了分类器诊断能力的图形表示。ROC曲线下的区域用于比较各种模型，具有最高AUC分数的模型在分类中比具有较低AUC分数的模型表现更好。
Accuracy=(TP±TN)/(TP+TN+FP+FN)*100 (2)
Sensitivity=TP/(TP+FN)*100 (3)
Specificity=TN/(TN+FP)*100 (4)
MCC=(（TP）(TN)-（FP）(FN))/√((TP+FP)(TP+FN)(TN+FP)(TN+FN))*100 (5)
3.结果和讨论
3.1窗口大小的选择
我们对每个模型(即LSTM和CNN)进行了最初的10倍交叉验证，以确定参数。从数据集中提取51的窗口大小，并通过从两端翻边窗口来生成其他窗口大小。这保持了数据集大小不变，因此在确定窗口大小时比较公平。
此外，窗口大小决定了暴露于问题的残留物数量。甲基化位点被发现埋在蛋白质核心，而其他的被发现在蛋白质表面。潜在位点位于窗口的中心，两边有相同数量的残基。结果列于表4。虽然该模型在不同的窗口大小上遵循相同的趋势，但不同的窗口大小针对不同的模型进行了优化，因为它们的体系结构不同。例如，CNN的窗口大小优化为39，而LSTM的窗口大小优化为21。按照我们琥珀酰化位点预测工作中概述的策略，嵌入维数固定在21。
表4 10-嵌入维数为21的不同窗口大小的交叉验证性能指标。每个类别中最高的监控化学品价值以粗体突出显示。MCC:马太相关系数；SN:敏感性，SP:特异性；ACC准确度

3.2嵌入尺寸的选择
嵌入维数可以概括为能够最好地定义输入序列的表示的特征空间。因此，我们在模型优化窗口大小的10倍交叉验证中使用了不同的维度，如表5所示。33的嵌入维数针对CNN进行了优化，而LSTM在39的窗口大小进行了优化。尽管如此，尽管我们优化了嵌入维度，但两个模型的维度似乎都没有实质性的改进。

表5 10-优化窗口大小的不同嵌入尺寸的交叉验证结果。每个类别的最高值以粗体突出显示。MCC:马太相关系数；SN:灵敏度；SP:特异性；ACC准确度

3.3与一种热编码的比较
由于嵌入已被证明增加了序列的动态特性，嵌入倾向于增强一个热编码的模型性能。因此，我们用一个热编码的最佳参数进行了10倍交叉验证，以确认在我们的情况下它是否仍然是真的。由于嵌入的动态性，嵌入的训练时间较少。这种方法还节省了计算时间，因为与一个热编码相比，嵌入的训练时间更少。由于这些原因，我们在嵌入模型的优化参数下比较了一个热编码(表6)。
表6 基于10倍交叉验证的一种热编码模型与嵌入模型的比较。每个类别中的最高值以粗体突出显示。MCC:马太相关系数；SN:灵敏度；SP:特异性；OHE:一个热门编码；Emb:嵌入；ACC准确度

3.4评估集合模式
我们使用独立测试来评估集成模型。LSTM和CNN都在训练集上进行了训练，并在测试集上进行了评估，如表1所示。合奏使用网格搜索方法优化每个模型的权重。因此，LSTM和CNN模型的优化权重分别为[0.16、0.83]。图3显示了CNN、LSTM和系综模型的接收机算子曲线(ROC)。最终的集合模型，我们称之为DeepRMethylSite，表现良好，相对于SP，SN和MCC(表7)。我们还使用学生的t检验集(表S3，ESI)对照CNN和LSTM模型评估了集合模型。

图3: LSTM、CNN和集合模式的接收-操作者特征曲线

表7 使用CNN、LSTM和集合模式的独立测试结果。每个类别中的最高值以粗体突出显示。MCC:马太相关系数；SN:灵敏度；SP:特异性’ ACC:准确性；AUC:接收器操作曲线下的区域

3.5与现有模型的比较
接下来，我们想比较DeepRMethylSite和现有的Arg甲基化位点预测因子的性能。基于SVM的预测器，PrmePred，目前是基于MCC的领域中表现最好的方法，其通常被用作总体方法性能的指标。因此，为了评估我们的模型，我们使用了kumar等人在开发PRmePred期间使用的训练集和验证测试集来重新测试我们的模型，然后使用他们的独立测试集来评估。表8列出了DeepRMethylSite的独立测试结果，以及使用PRmePred独立集从其他预测器获得的结果。同样，CNN模型或LSTM模型单独使用独立测试集的性能在表S1中提供。
因为我们使用的数据集与PRmePred相同，所以可以在模型之间进行直接比较。但是，结果仅限于19的窗口大小。尽管如此，结果还是很有价值的。例如，在与PRmePred的并行比较中，DeepRMethylSite获得的SP、ACC和MCC分数分别比PRmePred14高_13.8%、5.8%和~6.8%(表8)。另一方面，DeepRMethylSite的得分比PRmePred低19.4%。同样，DeepRMethylSite在所有现有方法中取得了最高的管理成本控制和成本控制分数(表8)。同时显示出与现有模型相当或更好的速度和速度分数(表8)。综上所述，这些数据表明DeepRMethylSite是蛋白质中精氨酸甲基化位点的一个强有力的预测因子。
表8 DeepRMethylsite与其他预测方法的比较。每个类别中的最高值以粗体突出显示

4.结论
在这里，我们描述了一个基于深度学习策略的Arg甲基化位点预测工具DeepRMethylSite的开发和分析。一个集合模型被用来结合我们基于LSTM的模型的更好的敏感性和我们基于CNN的模型的特异性。有趣的是，尽管集合模型与LSTM模型相比在MCC和SN方面表现出显著的改进，并且在MCC和SP方面总体上优于CNN模型，但是与CNN相比它并没有实现显著的性能改进(表S3，ESI)
与其他机器学习算法不同，深度学习不需要特征提取。这不仅降低了特征选择中固有偏差的可能性，而且大大降低了模型开发所需的计算成本。重要的是，在并行比较中，我们的模型在使用它们的独立测试集时，相对于标准普尔、ACC和MCC而言，优于PRMEPRD——目前Arg甲基化位点预测的金标准。因此，使用基于深度学习的模型不仅避免了特征提取的需要，而且提高了精氨酸位点预测的预测性能。这些预测将补充实验确定的Arg甲基化位点的列表，将有助于理解Arg甲基化如何影响细胞过程，如转录调节、核糖核酸代谢、凋亡和脱氧核糖核酸对。目前，我们的模型没有区分单甲基化、对称二甲基化和不对称二甲基化残基，这对给定Arg甲基化位点的细胞后果具有重要意义。未来，探索我们的模型是否可以增强以区分这些甲基化状态也将是有趣的。此外，值得注意的是，在这项研究中，我们将用于训练和评估的数据集的大小增加了8倍，与开发PRmePred期间使用的数据集相比。我们希望，我们在https://github.com/dukkakc/DeepR甲基网站上免费提供给科学界的这些数据集，将有助于改进甲基化位点预测方法的开发。同样，为了便于细胞信号和生物信息学社区使用我们的预测器，用于开发的方法和所有代码都可以在https://github.com/dukkakc/DeepRMethylSite.免费获得.
利益冲突
没有冲突要声明
鸣谢
本项工作得到了国家科学基金会(NSF)第1901793、2003019和2021734(对丹麦)号资助。RHN获得了国家自然科学基金(1901793)颁发的哈佛商学院-美国大学卓越研究奖和美国国立卫生研究院普通医学科学研究所颁发的SC1奖。HS由JSPS•卡肯海资助，编号为JP18H01762和JP19H04176。