生物大模型——ESM模型（一）

_小苔藓_

已于 2024-08-11 15:47:10 修改

阅读量1.1k

点赞数 16

分类专栏：深度学习大模型文章标签：语言模型深度学习

于 2024-08-11 15:45:47 首次发布

本文链接：https://blog.csdn.net/weixin_47520540/article/details/141105740

版权

深度学习同时被 2 个专栏收录

8 篇文章 0 订阅

订阅专栏

大模型

5 篇文章 0 订阅

订阅专栏

论文地址（ESM-1b）：https://www.biorxiv.org/content/10.1101/622803v4.full.pdf

论文地址（ESM-2）：https://www.biorxiv.org/content/10.1101/2022.12.21.521526v1.full.pdf

ESM-1b模型

模型概述

ESM-1b（Evolutionary Scale Modeling 1b）是一种用于蛋白质序列建模的深度学习模型。它属于蛋白质语言模型家族，通过对大量的蛋白质序列进行训练，能够学习到序列中的进化信息。ESM-1b以其在多种下游任务中的优异表现而闻名，如结构预测和功能预测。

模型输入

ESM-1b的输入是蛋白质序列，这些序列通常由氨基酸单字母代码组成。例如，一个蛋白质序列可以表示为字符串“MKVIFL...”。模型通过对这些序列进行编码来提取信息，以便在后续的预测任务中使用。

模型结构

ESM-1b的架构基于Transformer模型，这是目前自然语言处理任务中广泛使用的架构。它包含多个注意力层（Attention Layers），能够捕获序列中的长期依赖关系和复杂的上下文信息。与传统的序列模型不同，Transformer能够更好地处理序列中的变异和噪声。

在架构中，ESM-1b使用了一种自监督学习方法，通过预测序列中被掩盖的氨基酸（类似于语言模型中的掩蔽语言建模）来进行训练。这样的训练方式使得模型能够学习到蛋白质序列的丰富表征。

模型输出

ESM-1b的输出是每个输入氨基酸位置的特征表示，这些表示可以用于下游的各种生物信息学任务。输出的特征通常包含蛋白质序列的结构和功能信息，使得研究人员能够对未知序列进行预测和分析。

应用

ESM-1b在多个领域具有广泛的应用：

结构预测：帮助预测蛋白质的三维结构，从而理解其功能。
功能注释：通过序列信息预测蛋白质的潜在功能。
变异影响分析：评估氨基酸变异对蛋白质功能的影响，有助于疾病研究和药物开发。

意义

ESM-1b的出现为蛋白质研究带来了革命性的变化。通过利用大规模的序列数据和深度学习技术，它能够快速、高效地处理和分析蛋白质序列，显著提高了蛋白质结构和功能预测的准确性。这对于加速生物医学研究和推动新药开发具有重要意义。

假设我们有一个新发现的蛋白质序列，科学家希望了解其功能。通过将该序列输入ESM-1b模型，我们可以获得该序列的特征表示，并基于此进行功能预测。这种快速的分析方法使得研究人员能够在短时间内筛选大量蛋白质序列，确定潜在的研究目标。

ESM2（Evolutionary Sequence Model 2）是一种基于深度学习的生物信息学模型，它主要用于蛋白质序列的分析和预测。ESM2是ESM系列模型的第二代，它在前一代模型的基础上进行了改进和优化，以提供更准确的预测结果和更广泛的应用场景。下面我将从模型概述、模型输入、模型结构、模型输出、应用和意义等方面详细讲解ESM2。

ESM1其他模型

ESM-MSA-1b模型：多序列比对的Transformer

论文：https://www.biorxiv.org/content/10.1101/2021.02.12.430858v1.full.pdf

想象一下，蛋白质序列就像一本古老的书，每一行代表不同语言的翻译，而列则代表书中的相同章节。ESM-MSA-1b模型就像一位精通多语言的学者，能够阅读并理解这些不同语言的文本，从而揭示故事的深层含义。

图示：注意力的稀疏结构。通过约束注意在行和列上操作，计算成本从O（N121.2）降低到O（LM2） + O（ML2），其中M为MSA中的行数和L的列数。中间：未接触的行注意使用不同的注意图MSA中的每个序列。捆扎的注意使用单个atten-MSA中所有序列的图映射，从而约束接触结构。消融研究考虑两者的使用并没有引起关注。最终模型使用绑定的注意力。正确的：一个MSA变压器块。所描绘的架构是从最终模型中，一些消融改变了行的顺序，专栏的注意。

模型输入：它接受多序列比对（MSA）矩阵作为输入，这些矩阵记录了不同物种中相似蛋白质序列的变异。
词嵌入与位置嵌入：模型将氨基酸转换为数字，并通过位置嵌入，为每个序列和每个位置分配独特的序号，确保模型能够区分MSA矩阵中的每个元素。
模型输出：通过一种称为masked training的方法，模型学习预测被遮盖的氨基酸，并进一步通过注意力图（attention map）来预测蛋白质的二级和三级结构。
模型结构：ESM-MSA-1b采用轴向注意力机制，类似于在二维平面上分别沿行和列进行观察，只关注与当前位置在同一行或列的其他位置，从而提高计算效率。
模型训练：使用UR50数据库进行训练，这个数据库包含了大量的MSA数据，为模型提供了丰富的学习材料。
模型性能：与其他模型相比，MSA Transformer在接触模式预测上表现优异，尤其是在MSA数据较少时，显示出其强大的预测能力。

ESM-1v模型：Zero-shot蛋白质功能预测

论文：https://www.biorxiv.org/content/10.1101/2021.07.09.450648v2.full.pdf

ESM-1v模型则像一位具有超凡直觉的侦探，即使没有直接的线索，也能凭借其广泛的经验和知识，推断出案件的真相。

图示：涉及变体效应预测方法的步骤。与evmm的[4]和深层[20]，MSA变压器和ESM-1V不需要特定于任务的模型训练推理。此外，ESM-1V不需要MSA生成。

模型描述：ESM-1v在UR90数据库上训练，能够进行zero-shot预测，即在没有额外训练的情况下，直接对新任务进行预测。
模型原理：通过分析序列变异对蛋白质功能的影响，ESM-1v能够评估变异的重要性。这就像是通过观察一个人在社交场合的行为变化，来推断其情绪或意图的变化。
模型结构：与ESM-1b相同，ESM-1v也采用了Transformer架构，但关键在于其训练方式和数据集的选择，使其具备了zero-shot预测的能力。
模型训练：使用UR90数据库进行训练，这个数据库的多样性和规模远超UR50，为模型提供了更广泛的学习范围。
模型评估：ESM-1v在多个数据集上的表现优于传统模型，证明了其zero-shot预测的准确性和效率。

ESM2模型

论文地址（ESM2相关论文）：https://www.biorxiv.org/content/10.1101/2022.12.21.521526v1.full.pdf

https://www.biorxiv.org/content/10.1101/2022.12.21.521521v1.full.pdf

模型概述

ESM2是一种基于Transformer架构的深度学习模型，它通过学习蛋白质序列的进化信息来预测蛋白质的三维结构。与传统的蛋白质结构预测方法相比，ESM2能够更快速、更准确地预测蛋白质的结构，这在生物医药、疾病研究和药物设计等领域具有重要的应用价值。

模型输入

ESM2的输入是蛋白质的氨基酸序列，这些序列可以是实验测序得到的，也可以是生物信息学预测得到的。每个氨基酸序列由20种不同的氨基酸组成，每种氨基酸用一个特定的字母表示。ESM2通过将这些氨基酸序列转换为数值向量，然后输入到模型中进行学习和预测。

模型结构

ESM2的核心是Transformer架构，它由多个层次的自注意力机制和前馈神经网络组成。自注意力机制允许模型在处理序列时考虑序列中各个位置之间的关系，而前馈神经网络则对这些信息进行进一步的加工和整合。

自注意力机制：ESM2使用自注意力机制来捕捉序列内部的长距离依赖关系。这种机制通过计算序列中每个位置与其他所有位置的相关性，从而实现对序列全局信息的捕捉。
进化信息编码：ESM2在模型中引入了进化信息的编码，这使得模型能够学习到蛋白质序列在进化过程中的保守性和变异性，从而提高预测的准确性。
多头注意力：ESM2采用多头注意力机制，这意味着模型会从多个角度和尺度上分析序列信息，以获得更全面的序列特征表示。
位置编码：为了保持序列中元素的顺序信息，ESM2在输入序列的同时加入了位置编码，这有助于模型理解序列中不同位置的相对关系。