TripHLApan：基于三重编码矩阵和转移学习预测HLA分子结合肽的情况

摘要：

在本文中，我们提出了TripHLApan，一个新的泛特异性预测模型，用于HLA分子肽结合预测。TripHLApan通过整合三重编码矩阵、BiGRU+Attention模型和转移学习策略，表现出强大的预测能力。综合评估表明，TripHLApan在不同测试环境下预测HLA-I和HLA-II肽结合的有效性。在最新的数据集中，HLA-I的预测能力得到了进一步证明。此外，我们表明TripHLApan在一个黑色素瘤患者的样本中具有很强的结合重组能力。总之，TripHLApan是预测HLA-I和HLA-II分子肽的结合的有力工具，用于合成肿瘤疫苗。

对于HLA-I肽结合的预测任务，早期的预测工具，如SYFPEITHI 20和SMMPMBEC 21，主要使用概率方法计算位置特异性来建立模型。近年来，更多的预测工具采用机器学习，特别是深度学习方法来建立模型。这些模型14, 15在该领域显示出强大的预测能力。例如，netMHCstabpan 22结合HLA-I-肽复合物的免疫原性特征，建立人工神经网络模型。ACME 23利用CNN（卷积神经网络）和Attention模块的结合，建立了一个可解释的亲和力预测模型。MHCSeqNet 24将NLP（自然语言处理）中的Embedding 25和skip-gram 26模型应用于HLA-I肽的预测。这些模型在特定环境下都显示出良好的预测性能。

与HLA-I工具的发展类似，HLA-II分子的预测工具也在逐步从经典的机器学习发展到深度学习。然而，预测HLA-II分子与肽结合的工具很少，而且预测精度也不高。目前，一些成功的工具，包括NN-align27，NetMHCIIpan19，PUFFIN28，29，MARIA30，MHCAttnNet16等，只对某些特定的等位基因实现了良好的预测29，31。还有一些工具可以同时预测两类HLA分子与肽的结合，如MHCAttnNet16和MHCnuggets8，但它们的预测性能很差。

目前的工具可分为等位基因特定工具和泛特定工具。特定等位基因的工具为每一类HLA分子等位基因类型训练一个独特的预测模型。例如，NetMHC 4.0 7使用一个前馈神经网络对HLA-I分子进行分类。MHCnuggets 8首先对等位基因进行聚类，为具有最多结合肽的等位基因训练一个模型，然后在聚类中进行迁移学习。针对等位基因的工具往往能提供强大的预测性能，这取决于每个等位基因的可用训练数据量和等位基因聚类的质量9, 10。 然而，这些工具很难概括所有的等位基因，特别是那些尚未被发现的等位基因。

泛特定的方法11-17将所有HLA数据混合在一起，训练一个泛特定的模型，可以预测所有已知序列的等位基因，如MixMHCp 18和最新版本的NetMHCpan 4.1 19。随着越来越多的HLA等位基因被发现，泛特异性工具在预测HLA分子与肽的结合方面起着越来越重要的作用。

虽然目前的工具取得了一定的预测性能，但仍有一些致命的限制。(1) 目前工具的预测精度不够。特别是对于HLA-II-肽结合的预测任务，只能预测有限的等位基因类型，而对于实际应用来说，其准确度还不够高。(2）虽然现有的预测工具在有大量可用样本的情况下，对某些肽长的预测性能是可以接受的，但一旦较长肽长的训练样本变得不足，预测器的性能就会急剧下降。对于HLA-I-肽结合的预测任务，目前的工具在预测长度为9和10的肽时表现良好，难以扩展到更长的肽。(3) 目前的预测工具很少使用本领域已知的生物特性和数据的联系。数据本身的特性可能在数据处理中被掩盖。此外，大多数工具忽略了氨基酸之间的上下文信息。为了解决上述问题，我们提出了TripHLApan，一个新的泛特异性模型，用于预测HLA-肽结合。首先，我们分析了Uniprot数据库33中少量的HLA-肽结合的三维结构信息和数据的统计，并对HLA分子和肽进行了比较合适的数据预处理进度。接下来，我们构建了肽和HLA分子的综合特征谱，包括氨基酸的物理化学和生物化学性质、氨基酸之间的替换概率以及与结合有关的内源性隐藏信息。我们设计了一个新的三通道BiGRU + Attention 模型来学习肽和HLA分子序列的潜在信息。三通道模型使TripHLApan能够准确预测多肽和HLA分子之间的结合关系。在几个测试集上的性能比较表明，TripHLApan超过了目前的最佳模型。

结果

TripHLApan概述

TripHLApan是第一个利用多种氨基酸特性并行编码和训练的人类白细胞抗原多肽结合预测工具(图1)。在该模型中，对多肽序列和人类白细胞抗原序列进行了预处理和编码。使用三个不同的编码矩阵来表示序列。然后，将编码后的序列送入BiGRU+注意力模型，并将输出连接在一起形成矩阵。之后，输出矩阵被传递到三个全连通层和一个Sigmoid层，在那里计算最终的结合概率。为了避免模型训练数据划分的偶然性，我们进行了5次交叉验证。模型的每个部分都将在方法一节中详细描述。

 

TripHLApan的BiGRU + Attention模型很适合HLA分子和肽之间的结合问题。首先，肽和蛋白质的结合主要由它们的三维结构的互补性决定。在三维结构信息缺失的情况下，基于序列上下文信息的BiGRU模型可以很好地捕捉这种基于序列的全局信息。其次，从BiGRU导出后，TripHLApan不像大多数模型那样直接将输出矩阵的最后一层作为整个序列的特征。相反，它首先使用Attention模型，根据BiGRU模型在各个氨基酸残基位置学到的子序列的重要性来重新分配权重。然后，它将最后一个隐藏层作为整个序列的特征，并将其输入到下一个全连接层。BiGRU+Attention方法的优点是能够识别肽序列两端的子序列的影响，决定整个肽是否能够结合。这与多肽的两端经常显示多肽结合图案的现象是一致的。研究36-38表明，长度为8的多肽与HLA-I的结合过程可能涉及HLA-I分子结构的改变。因此，在HLA-I模型训练的过程中，我们首先使用长度为9-14的肽的数据集进行模型训练，然后将模型转移到长度为8的肽。

这种训练策略保证了长度为9-14的肽的结合模型不受长度为8的肽的数据的影响，同时也保证了长度为8的肽的预测模型保留了长度为9-14的肽的HLA-I结合特征的学习。

为了更好地模拟HLA分子与肽的结合关系，我们通过Uniprot数据库分析了HLA结合肽在不同基因座上的位置特征。如图1c所示，蛋白质1AKJ是HLA-A和肽的结合结构。肽被完全包裹在HLA-A的两个螺旋结构和一个β结构中。在序列索引中找到几个结构的关键位置，我们发现HLA-A结合肽的位置都是在序列的前200个氨基酸中。其他几个I类HLA分子也显示出类似的规律。因此，HLA-I的前200个氨基酸片段被选为代表整个HLA-I分子并输入到模型中。对于HLA-II，观察到不同的场景。在图1c中，1JK8和3LQZ分别代表HLA-DQA/DQB和HLA-DP1A/DP1B与肽的结合关系。

HLA分子的两条链在与肽的结合关系中共同发挥了作用。我们根据不同的肽结合位点，专门提取了不同基因座的两个100mer子序列来代表HLA-II分子的两条链，并分别将它们输入模型。更多细节见方法。

 TripHLApan在HLA-I结合预测方面优于基线方法

我们将TripHLApan与几个精心挑选的工具进行分类性能比较，包括被高度引用的PickPocket 39、netMHCstabpan 22和MixMHCp 18，它们在最近的调查中被认为是最好的预测工具40，以及五个最近的pan专用工具。MHCSeqNet 24, MHCflurry 2.0 41, 42, 和NetMHCpan 4.1 19, MATHLA 17, MHCnuggets 8。用于比较每个工具性能的测试数据集来自出版物和随机负肽库的测试集（这些负肽是通过随机剪切蛋白质得到的，用于填充测试集和训练集的负肽来自两个完全独立的随机负肽库），这对基准工具是公平的。即使是这样的测试对TripHLApan在未见过的集合上也略显不公平，因为基准工具的训练过程包含了更多来自我们未见过的集合的项目（见图2a）。接受者操作特征曲线下的面积（AUC）被用来衡量预测模型的正负样本的分类能力。为了消除正负样本不平衡造成的AUC值的偏差，AUPR也被用来比较其预测性能。此外，top-PPV（阳性预测值）是由前N个预测值中的阳性肽的比例来估计的，其中N表示测试样本中真正的阳性样本的数量。在独立测试组中，我们在此进一步定义测试组和未见组。它们的含义如下。测试集中的等位基因类型在训练集中出现，而未见集中的等位基因类型在训练集中没有出现。

 

表1中的结果显示，TripHLApan在测试集和未见集上都是一个强大的预测工具。TripHLApan不仅有很强的预测能力，而且还有很强的泛化能力。图2b显示，在测试集中，TripHLApan在预测不同长度的肽时，在1:5/1:1:10/1:50的阳性和阴性样本比率上优于其他所有工具。此外，对于较长的肽，TripHLApan的性能下降比其他方法慢得多。特别是在1:5的阳性和阴性样本率上，对于独立测试集中长度为10/11/12/13/14的肽，TripHLApan的AUC值分别比排名第二的模型高出1.2%、6.1%、18.8%、10.3%和24.9%。未见集的目的是衡量模型的泛化能力，它有TripHLApan的训练集中未见的等位基因。结果显示，TripHLApan的AUC曲线与比较中的工具相似。特别是当肽的长度超过12时，TripHLApan表现出明显高于其他工具的AUC值。此外，TripHLApan具有最高的AUPR值（见表1和图2c），表明TripHLApan能够处理不同的数据集环境，并能真正取得良好的预测结果。图2 c&d显示了在1:1/1:5/1:10/1:50的情况下，所选工具的AUPRs和top-PVs的正负样本。可以发现，TripHLApan的预测准确率与NetMHCpan、MixMHCp和MHCflurry在未见过的测试集上的预测准确率相当，而在其他测试集上显示出更好的预测能力。这表明TripHLApan可以有效地学习序列和结合模式之间的规律，从而挑选出最有可能的潜在化合物组合，即使在样本比例更为严格的情况下，如1:10和1:50。然后，TripHLApan对新等位基因的强大学习能力得到了验证。我们随机选择未见过的集合的4/5部分，使用TripHLApan进行迁移学习，剩下的1/5部分用于测试。结果显示在图2b "未见集（左）"中，TripHLApan的预测在转移学习后得到了改善。

 

 

这表明TripHLApan可以轻松适应各种预测环境。即使在从未见过的等位基因共轭上，TripHLApan也能利用已知的数据进行迁移学习，提高其预测能力。为了消除未见集对TripHLApan和基准工具的不公平，我们提取了未出现在所有工具的训练集中的等位基因（命名为 "所有未见集"），总共有19160个项目，涉及13个HLA等位基因。

TripHLApan获得了最高的AUC/AUPR和top-PV分数（见图3）。因此，我们认为，随着HLA分子肽数据的增加，TripHLApan在新的等位基因数据集上经过简单的迁移学习也能取得良好的预测结果。

图3. TripHLApan与基线工具在数据集上的预测结果进行了比较，其中等位基因没有出现在所有工具的训练集中。 a 所有未见过的数据集中的等位基因类型。

在最新的数据集上进行测试

我们根据不同的肽长将最近的数据集分为不同的子集，以评估工具在不同肽长上的性能差异。在排除样本数小于50的数据集后，不同子集的预测结果如图4b所示。TripHLApan在预测不同长度的肽组方面也是一个领先的方法。

                                            

 

适当的模型结构和数据预处理有助于提高模型性能

首先，采用三种平行的序列编码方法，从氨基酸的生化特性、替代概率和与结合有关的内在隐藏信息等角度提取序列中包含的信息。值得注意的是，氨基酸的生化特性被大多数方法所忽视，但这些特性在预测多肽和HLA分子的组合时却显得至关重要。其次，选择BiLSTM和BiGRU模型，它们可以学习序列上下文信息之间的关系，不仅是因为它们如描述的那样有效，而且还因为它们在以前的研究中确实表现出很强的预测能力24。根据我们初步的比较实验，BiGRU被选为我们的基本模型单元。第三，我们在TripHLApan中加入Self-Attention模块，以关注肽和HLA-I分子的每个子序列的重量。我们选择这种Self-Attention方法是因为观察到了 "肽的两端都有重要的锚定残基 "的现象。选择这样的模块可以使TripHLApan更好地捕捉到锚定位点及其相邻位点的复杂相关性，并最大限度地暴露序列两端的锚定残基。最后，转移学习策略减少了数据过度混合造成的性能损失，保留了学到的结合模式。此外，"辍学 "和 "提前终止 "策略在防止过度拟合和提高模型稳定性方面也发挥了重要作用。

表2显示了一些消融模型与原始模型的比较结果。可以发现，TripHLApan是综合预测能力最强的模型。然而，只用氨基酸的生化特性进行编码的TripHLApan（AAIndex）也取得了非常相似的预测结果，说明氨基酸的生化特性是最关键的特征。转移学习的训练策略也有助于提高TripHLApan在不同长度的肽的数据集上的性能。图4 e&f详细比较了TripHLApan与没有转移学习策略的模型[TripHLApan (mixed)]、针对不同肽长的ab initio训练模型[TripHLApan (from scratch)]以及表现良好的TripHLApan[AAIndex]。转移学习的训练策略在一定程度上限制了肽长8的预测能力，但对于更长的肽长（11/12/13/14），它的预测能力得到了扩展。通过比较表1和图4 e&f的结果可以发现，TripHLApan在不同长度的预测性能偶尔会比一些参考工具差，但其总体AUC要比其他工具好很多。这表明TripHLApan区分阳性和阴性样品的能力在具有不同长度肽的数据集中保持稳定。这对预测工具来说是一种重要的能力，特别是当目前大多数工具使用定义的阈值来划分阳性和阴性样本时。总的来说，TripHLApan收集了更全面的序列信息和氨基酸特征，并采用了生物先验知识。因此，它大大提高了HLA-I分子与肽的结合预测的准确性。

These abbreviations represent different versions of TripHLApan: 1#: without Self-Attention; 2#: AAIndex + Blosum62; 3#: AAIndex + Embedding; 4# Blosum62 + Embedding; 5#: AAIndex; 6#: Embedding; 7#: Blosum62.

 TripHLApan在HLA-II结合预测方面优于基线方法

（不详细说明）

讨论

在这项工作中，我们提出了TripHLApan，一个整合了多种特征的HLA-I与肽结合的新预测模型。我们首先分析了HLA分子-肽结合的生物学和统计学特征，得到了一个比较合适的氨基酸序列预处理方案。然后，我们整合了其他工具中很少使用的氨基酸的生化特征，形成了一个具有氨基酸替换概率和Embedding特征的平行序列编码和训练网络。最后，我们利用Attention模块学习BiGRU后每个局部序列所包含的上下文信息，避免了在建模过程中过度关注位置特定因素而造成的序列信息损失。通过5倍的交叉验证，TripHLApan被证实优于目前最先进的预测工具。在HLA-I-肽结合预测的任务上，我们还用没有出现在TripHLApan训练集中的等位基因结合样本集来测试模型的泛化能力（注意，这对TripHLApan是不公平的，因为这些样本可能已经被用于训练基线工具）。TripHLApan的预测结果仍然处于比较工具的前列。在未见过的集合中进行简单的迁移学习后，TripHLApan的结果保持稳定，这表明TripHLApan具有强大的学习和适应环境的能力。TripHLApan在没有出现在所有工具的训练集中的13个HLA等位基因上取得了最高的AUC分数，即0.979。同时，TripHLApan强大的预测性能也在最新的数据集上得到了验证。

然而，我们进行了一系列的模型消减实验，证实了TripHLApan采用的框架和策略的有效性。最后，我们验证了TripHLApan的预测能力在临床使用中对单一患者黑色素瘤相关Immunopeptidome数据集的稳定性。在HLA-II-肽结合预测任务中，我们在预测能力方面取得了较为明显的提高，主要体现在以下两个方面：（1）TripHLApan能够预测更多的等位基因类型。TripHLApan是一个泛特异性预测模型，只要知道HLA分子和肽的序列，就可以用来预测。(2)TripHLApan在HLA-II-肽结合预测任务中表现出有效性。

然而，TripHLApan也有一些局限性。在预测HLA-I-肽结合预测中最常见的肽长为9的样品时，增强的效果不甚明显。这主要是由于现有工具对肽长为9的预测能力已经达到了高度精确的程度。在这种情况下，模型的预测能力将更多地受到数据质量的影响。另一方面，TripHLApan的泛特异性的特点在一定程度上限制了它对9长度的表现。此外，基于序列的二分法预测模型不能确定具体的结合部位和姿势，我们将在未来的研究中考虑三维特征，特别是在这个蛋白质结构预测已经达到细粒度精度的时代。

 方法

预处理和数据编码。在预处理HLA-I分子序列时，以前的预测工具大多采用提取固定位置的残基作为伪序列的形式。但伪序列不能捕捉序列内相邻氨基酸之间的上下文关系，可能会丢失重要的生物学信息。为了找出编码方法对结果的影响，我们研究了几种不同编码方案下结合肽的序列相似性和主题相似性之间的关系。我们选择了45个等位基因的100多个肽的阳性样本，分别计算其序列的相似性和肽图案的相似性。结果如图7所示。有11个等位基因家族具有相似的结合肽图案。基于等位基因全序列的配对相似性可以捕捉到除第一个等位基因外的10个动机组的相似性，而另外两个伪序列38、53只能捕捉到7个动机组。这说明这两个伪序列只能捕捉到等位基因与肽结合的部分关键信息，但难以提取更全面的信息。基于全序列的等位基因表示是一种更稳定和全面的序列信息提取方式。基于全序列的等位基因相似性与第一组的结合模式匹配度较低，这可能是由于这组等位基因中与结合关系无关的部分序列相似度低。这表明，提取嵌在全序列中的有用的序列信息对建立其结合过程的模型是很有帮助的。

根据上述结论，我们采用HLA分子的全序列作为TripHLApan的输入。对于HLA-I，如果HLA分子序列的长度大于200，则从其序列中提取前200个氨基酸作为输入；否则，对长度为200的氨基酸填充'X'，表示空点。对于HLA-II，根据UniProt结构信息提取不同的氨基酸片段。不同碱基的起始位置是：DRA为26，DRB为30，DQA为24，DQB为33，DMA为27，DMB为19，DPA为29，DPB为30。尺寸不足的HLA分子将遵循与I类填充物的'X'相同的模式。在肽序列的预处理中，根据以前的研究和我们上面的分析，我们在肽序列的中间加入'X'，长度为14/32。

这种序列处理策略不仅保持了HLA分子的结合肽图案，而且还保留了肽序列的上下文信息。

 图7. HLA-A、B和C等位基因之间共享图案的鉴定。子图a、b和c分别说明了由三种等位基因序列提取方法得到的45个等位基因序列之间的成对相关性以及它们与图案的相应关系。I到XI代表不同的图案组。

在对HLA-I分子序列和多肽序列进行预处理后，它们分别被格式化为长度为200和14的序列。HLA-II分子的这些序列的长度为100、100和14。为了表示序列中包含的信息，我们使用以下三种不同的编码矩阵来编码序列。(1) AAIndex54：AAindex是一个数字指标数据库，代表氨基酸和氨基酸对的各种物理化学和生物化学特性。我们选择了28个已经在其他领域成功应用的特征，作为物理和化学特征的编码，与我们的预测任务相对一致。

(2）Blosum62 32：Blosum62矩阵表示氨基酸对之间替换的概率；（3）嵌入。嵌入是一种可学习的编码方法，它将离散变量转换为连续的数字向量。它通过模型训练的反向传播不断更新这些向量中的数值，以优化序列的编码。

BiGRU模块。递归神经网络（RNN）是一种可以处理时间序列信息的深度学习模型，已被广泛用于自然语言和生物信息处理。长短时记忆（LSTM）和门循环单元（GRU）是RNN最常见的两种变体，它们是为了解决RNN中常见的梯度消失和梯度爆炸问题而设计的。与LSTM相比，GRU是一个简化版本，在许多任务中显示出更好的性能34。GRU通过调整更新门、复位门和当前状态的权重来更新当前输出。BiGRU是由单向的和相反的GRU组成，其输出由两个GRU的状态决定。主要的计算公式是：

其中zt代表更新门的值，σ是sigmoid激活函数，Wz是权重矩阵，ht-1是最后时刻的状态，xt代表这次的输入，[]表示两个矩阵的连接。

其中rt代表复位门的值，Wr是权重矩阵。

其中ht～代表当前状态的输入门，tanh(.)是激活函数，W代表输入门的权重。

其中ht是当前时间点上的更新状态，是当前输入和过去状态的平衡。

注意模块。注意模块的作用是，通过重新分配序列中的权重信息，将关键信息集中在序列上。注意力模块的引入补充了学习序列中的重要残留物。注意力模块可以根据输入分为不同的类型。这里，我们采用自我注意，计算公式如下

 

其中Q,K,V分别代表查询、键和值矩阵。在本文中，对于同一编码的输入，这三个矩阵是相同的。不同编码方案的注意矩阵是分别训练的。dk是QKT中每一行的值之和。

转移学习。TripHLApan在HLA-I-肽预测任务中使用转移学习策略来适应模型的不同数据。首先，从肽长9-14的数据中训练预测模型（考虑到分子结构的变化也可能发生在与肽长8的结合中的先验知识）。然后，将训练好的模型转移到肽长为8的训练集上，如图1b所示。通过采用这种转移学习策略，TripHLApan可以在一定程度上消除由数据杂乱造成的噪音。此外，已知的结合信息被用来对长度为8的肽进行预训练，学到的结合特性被保留下来。这种训练模式可以有效地提高模型的准确性，其细节将在结果比较部分讨论。

网络训练。图1显示了TripHLApan的HLA-I-肽结合预测任务的工作流程。HLA序列和肽序列通过AAIndex编码为200×28矩阵和14×28矩阵，通过Blosum62编码为200×20矩阵和14×20矩阵，通过Embedding编码为200×6矩阵和14×6矩阵。因此，通过数据编码，共得到6个编码矩阵。然后，这6个矩阵被发送到6个独立的BiGRU网络，每个网络包含128个隐藏层来学习每个序列的方向关系。在BiGRU层之后，六个矩阵的大小变为200×256、14×256、200×256、14×256、200×256和14×256。

一般来说，模型在通过GRU层后只取最后一个维度的向量作为下一层的输出。由于HLA分子和肽之间的特殊结合关系，我们使用注意力模块来学习BiGRU中每个连续的隐藏层对之间的信息的重要性。通过BiGRU + Attention模型，机器学习模型可以学习每个子序列的重要性矩阵。在经历了Attention模型后，得到了六个256维的向量。然后，使用相同编码矩阵的HLA序列和肽序列沿向量方向串联在一起，并通过512×128全连接层。然后，将三个128维的向量沿向量方向串联在一起。接下来，产生的向量将通过384×128全连接层，ReLu函数，以及128×128全连接层，ReLu函数。在通过PyTorch中的 "dropout "函数去除20%的权重参数后，128维向量将进入最后的128×1全连接层，该层具有sigmoid激活函数，可用于得出预测的结合概率。(别的预测器大部分为亲和力分数，这里直接得到的是结合概率）

学习率被初始化为0.0001。此外，我们还采用了学习率递减的方案。采用 "早期终止 "策略，以在过拟合之前获得最佳训练模型。如果损失在连续四次迭代中没有减少，学习率将减少一半。

HLA-II-肽结合预测模型与I类模型略有不同，HLA的两条链在第一个输出步骤中被单独输入，然后在全连接层之前进行拼接。更多的实现细节见我们的Github仓库（https://github.com/CSUBioGroup/TripHLApan.git）。