从头设计抗体，腾讯、北大团队预训练大语言模型登Nature子刊

AI 技术在辅助抗体设计方面取得了巨大进步。然而，抗体设计仍然严重依赖于从血清中分离抗原特异性抗体，这是一个资源密集且耗时的过程。

为了解决这个问题，腾讯 AI Lab、北京大学深圳研究生院和西京消化病医院研究团队提出了一种预训练抗体生成大语言模型 (PALM-H3)，用于从头生成具有所需抗原结合特异性的人工抗体 CDRH3，减少对天然抗体的依赖。

此外，还设计了一个高精度的抗原-抗体结合预测模型 A2binder，将抗原表位序列与抗体序列配对，从而预测结合特异性和亲和力。

总之，该研究建立了一个用于抗体生成和评估的人工智能框架，这有可能显著加速抗体药物的开发。

相关研究以「De novo generation of SARS-CoV-2 antibody CDRH3 with a pre-trained generative large language model」为题，于 8 月 10 日发布在《Nature Communications》上。

论文链接：https://www.nature.com/articles/s41467-024-50903-y

抗体药物，又称单克隆抗体，在生物治疗中发挥着至关重要的作用。通过模仿免疫系统的作用，这些药物可以选择性地针对病毒和癌细胞等致病因子。与传统治疗方法相比，抗体药物是一种更具体、更有效的方法。抗体药物在治疗多种疾病方面已显示出积极的效果。

开发抗体药物是一个复杂的过程，包括从动物源中分离抗体，使其人性化，并优化其亲和力。但抗体药物的开发仍然严重依赖于天然抗体。

蛋白质的序列数据可以看作是一种语言，因此自然语言处理（NLP）领域的大规模预训练模型已被用来学习蛋白质的表征模式。当前已经开发了多种蛋白质语言模型。然而，由于抗体的多样性高和可用的抗原抗体配对数据稀缺，生成对特定抗原表位具有高亲和力的抗体仍然是一项具有挑战性的任务。

为了应对上述挑战，腾讯 AI Lab 团队提出了预训练抗体生成大型语言模型 PALM-H3，用于优化和生成重链互补决定区 3 (CDRH3)，该区域在抗体的特异性和多样性中起着至关重要的作用。

为了评估 PALM-H3 产生的抗体对抗原的亲和力，研究人员结合使用了抗原抗体对接和基于 AI 的方法。

研究人员还开发了用于评估抗体-抗原亲和力的 A2binder。A2binder 能够实现准确且可推广的亲和力预测，即使对于未知抗原也是如此。

PALM-H3 和 A2Binder 的框架

PALM-H3 和 A2binder 的工作流程和模型框架如下图所示。

图示：PALM-H3 和 A2binder 工作流程概述。（来源：论文）

PALM-H3 的目的是生成抗体中的从头 CDRH3 序列。CDRH3 区域在决定抗体对特定抗原序列的结合特异性方面起着最重要的作用。PALM-H3 是一个类似 transformer 的模型，它使用基于 ESM2 的抗原模型作为编码器，使用抗体 Roformer 作为解码器。研究还构建了 A2binder 来预测人工生成的抗体的结合亲和力。

PALM-H3 和 A2binder 的构建包括三个步骤：首先，研究人员分别在未配对的抗体重链和轻链序列上预训练两个 Roformer 模型。然后，基于预训练的 ESM2、抗体重链 Roformer 和抗体轻链 Roformer 构建 A2binder，并使用配对亲和力数据对其进行训练。最后，使用预训练的 ESM2 和抗体重链 Roformer 构建 PALM-H3，并在配对抗原-CDRH3 数据上对其进行训练，以从头生成 CDRH3。

A2binder 可以准确预测抗原抗体结合概率、亲和力

通过将 A2binder 预测亲和力的能力与几种基线方法进行比较来评估其性能。

A2binder 在亲和力数据集上表现出色，部分原因在于抗体序列的预训练，这使得 A2binder 能够学习这些序列中存在的独特模式。

图示：预训练和未训练模型的潜在能力比较以及 A2Binder 与基线方法在抗体-抗原结合特异性预测方面的性能比较。（来源：论文）

结果表明，在所有抗原抗体亲和力预测数据集上，A2binder 的表现均优于基线模型 ESM-F（后者具有相同的框架，但预训练模型被 ESM2 取代），这表明使用抗体序列进行预训练可能对相关的下游任务有益。

为了评估模型在预测亲和力值方面的表现，研究人员还利用了两个包含亲和力值标签的数据集 14H 和 14L。

A2binder 在 Pearson 相关性和 Spearman 相关性指标上均优于所有基线模型。A2binder 在 14H 数据集上实现了 0.642 的 Pearson 相关性（提高了 3%），在 14L 数据集上实现了 0.683（提高了 1%）。

然而，与其他数据集相比，A2binder 和其他基线模型在 14H 和 14L 数据集上的性能略有下降。这一观察结果与以前的研究一致。

PALM-H3 在生成高结合概率抗体方面表现优异

研究人员探索了 PALM-H3 产生的抗体与天然抗体之间的差异。发现它们的序列存在显著差异，但产生的抗体的结合概率并没有受到这些差异的显著影响。同时，它们的结构差异确实导致结合亲和力的下降。这些结果与之前关于抗体库网络分析和功能性蛋白质序列生成的研究一致。

图示：与基线方法的性能比较以及人工抗体和天然抗体的相似性分析。（来源：论文）

总体而言，结果表明，尽管与天然抗体不同，但 PALM-H3 能够生成具有高结合亲和力的多种抗体序列。

此外，研究人员通过 ClusPro 和 SnugDock 验证了 PALM-H3 的性能。PALM-H3 能够生成针对 SARS-CoV-2 HR2 区稳定肽的抗体 CDRH3 序列。它生成了新的 CDRH3 序列，并且验证了生成的序列 GRREAAWALA 与天然 CDHR3 序列 GKAAGTFDS 相比，对抗原稳定肽的靶向性有所改善。

图示：A2binder 预测的选定高亲和力人工抗体与针对 SARS-CoV-2 刺突蛋白的天然抗体在不同变体和计算结构生成方法之间的界面能比较。（来源：论文）

此外，PALM-H3 能够生成对新出现的 SARS-CoV-2 变体 XBB 具有更高亲和力的抗体 CDRH3 序列。生成的序列 AKDSRTSPLRLDYS 对 XBB 的亲和力比其来源 ASEVLDNLRDGYNF 更强。

此外，PALM-H3 不仅克服了传统顺序突变策略面临的局部最优陷阱，而且与 E-EVO 方法相比，它还能产生具有更高抗原结合亲和力的抗体。这凸显了 PALM-H3 在抗体设计方面的优势，能够更有效地探索序列空间并生成针对特定表位的高亲和力结合物。

体外实验

此外，研究人员还进行了体外试验，包括蛋白质印迹、表面等离子体共振分析和假病毒中和试验，为 PALM-H3 设计抗体的有效性提供了关键验证。

图示：人工和天然抗体的结合亲和力和中和性的体外试验。（来源：论文）

PALM-H3 产生的针对 SARS-CoV-2 野生型、Alpha、Delta 和 XBB 变体刺突蛋白的两种抗体在这些试验中都实现了比天然抗体更高的结合亲和力和中和效力。这些湿实验室实验的有力经验结果补充了计算预测和分析，验证了 PALM-H3 和 A2binder 在生成和选择对已知和新抗原具有高特异性和亲和力的强效抗体方面的能力。

总之，提出的 PALM-H3 集成了大规模抗体预训练的能力和全局特征融合的有效性，从而具有卓越的亲和力预测性能和设计高亲和力抗体的能力。此外，直接序列生成和可解释的权重可视化使其成为设计高亲和力抗体的有效且可解释的工具。