【论文阅读】ESM All-Atom: Multi-scale Protein Language Model for Unified Molecular Modeling

ESM All-Atom: Multi-scale Protein Language Model for Unified Molecular
Modeling

1、全文总结

这篇论文提出了一种名为ESM-AA（ESM All-Atom）的多尺度蛋白质语言模型，用于统一的分子建模。该模型通过在多尺度混合蛋白质序列上进行预训练，并利用多尺度位置编码来捕捉残基和原子之间的关系，实现了原子级和残基级的统一分子建模。

1.1 研究背景：

问题：现有的蛋白质语言模型（PLMs）主要在残基级别上操作，无法提供原子级别的信息，限制了它们在涉及蛋白质和小分子的应用中的潜力。
难点：实现统一的分子建模，在残基和原子两个尺度上有效操作，是一个具有挑战性的任务，因为这两个尺度使用的词汇表不兼容。此外，设计一个适当的位置编码来准确描述同一蛋白质内残基和原子之间的关系也非常复杂。
相关工作：现有的蛋白质预训练方法主要分为基于序列的方法和基于结构的方法。基于序列的方法通过学习蛋白质一级序列来捕获生化知识和共进化知识，而基于结构的方法则直接从蛋白质结构中学习。然而，这些方法通常只处理残基或原子数据，无法同时处理两者。

1.2 研究方法：

（1）提出了一种新的预训练方法，称为多尺度预训练，通过在混合蛋白质和小分子数据上进行训练，实现了残基级和原子级的统一分子建模。
引入了多尺度位置编码&