【论文阅读】SaProt: Protein Language Modeling with Structure-aware Vocabulary

结论：

1. 该论文将蛋白质序列和结构信息相结合的方式值得借鉴，引入多种特征进行训练
2. 可以采用本文的数据处理方式，换模型结构执行实验

该论文的方法在ProteinGym突变数据集公开榜单上取得了第一名，超过了多个知名的蛋白质语言模型。
完整榜单见：
https://proteingym.org/benchmarks

1、介绍

蛋白质结构相比于序列往往被认为更加具有信息量，因为其直接决定了蛋白质的功能。而随着AlphaFold2带来的巨大突破，我们拥有了大量的预测结构可以利用。如何利用这些蛋白质结构来训练强大且通用的表征模型是一个值得研究的方向。

在这篇论文里，我们利用Foldseek来处理蛋白质结构，将其编码成一维的离散token，并与传统的氨基酸进行结合，形成了结构感知词表（Structure-aware Vocabulary），以此将结构信息嵌入到模型输入中，增强模型的表征能力。我们的预训练模型用到了目前最多的蛋白质结构（大约4000万），在64张A100上训练了3个月的时间，最终开源了一个650M大小的模型SaProt。实验结果表明我们的模型各种蛋白质任务上都要好于之前的序列和结构模型。