【AI模型学习】ESM2

已于 2025-05-21 16:40:15 修改
阅读量1.2k 收藏 26
点赞数 22
分类专栏： 深度学习 文章标签： 人工智能 学习 python
于 2025-05-21 16:38:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wwl412095144/article/details/148119398
版权

文章目录

1. 版本

ESM-2 一共有多个版本，主要区别在于：
层数（depth）、参数量（size）、推理速度和精度权衡。
这些版本都遵循相同的 Transformer 编码器架构，只是在大小和计算能力上有差异。

版本一览

模型名称（Hugging Face 名）层数参数量说明
esm2_t6_8M_UR50D68M极小模型，适合快速原型
esm2_t12_35M_UR50D1235M中等小型，推荐用于入门任务
esm2_t30_150M_UR50D30150M中等模型，效果与效率平衡
esm2_t33_650M_UR50D33650M较大模型，适合更复杂任务
esm2_t36_3B_UR50D363B超大模型，强大建模能力
esm2_t48_15B_UR50D4815B最大模型，性能最强但最重

模型名一般遵循这个格式：

esm2_t<层数>_<参数量>_UR50D
  • t<层数>：比如 t12 表示有 12 层 Transformer 编码器。
  • <参数量>：大概的参数数量，比如 35M, 3B 等。
  • UR50D：代表训练用的数据集（Uniref50），是去冗余后的蛋白质数据库。
需求场景推荐模型
快速测试 / 教学 / CPU 调用esm2_t6_8M 或 t12_35M
标准下游任务建模esm2_t30_150M
结构预测 / 蛋白功能预测esm2_t33_650M 及以上
追求最强性能esm2_t48_15B

注意：3B 和 15B 模型通常需要 A100 等大显存 GPU，或者分布式推理支持。

2. 开始

2.1 安装

pip install fair-esm  # latest release, OR:
pip install git+https://github.com/facebookresearch/esm.git  # bleeding edge, current repo main branch

2.2 使用预训练模型

2.2.1 代码

我们直接拿官网的作为示例

import torch
import esm

# 加载 ESM-2 模型
model, alphabet = esm.pretrained.esm2_t33_650M_UR50D()
batch_converter = alphabet.get_batch_converter()
model.eval()  # 设置为评估模式（关闭 dropout，确保结果可复现）

# 准备数据（来自 ESMStructuralSplitDataset 数据集的前两个蛋白质序列）
data = [
    ("protein1", "MKTVRQERLKSIVRILERSKEPVSGAQLAEELSVSRQVIVQDIAYLRSLGYNIVATPRGYVLAGG"),
    ("protein2", "KALTARQQEVFDLIRDHISQTGMPPTRAEIAQRLGFRSPNAAEEHLKALARKGVIEIVSGASRGIRLLQEE"),
    ("protein2 with mask","KALTARQQEVFDLIRD<mask>ISQTGMPPTRAEIAQRLGFRSPNAAEEHLKALARKGVIEIVSGASRGIRLLQEE"),
    ("protein3",  "K A <mask> I S Q"),
]
batch_labels, batch_strs, batch_tokens = batch_converter(data)
batch_lens = (batch_tokens != alphabet.padding_idx).sum(1)

# 提取每个残基的表示（使用 CPU 推理）
with torch.no_grad():
    results = model(batch_tokens, repr_layers=[33], return_contacts=True)
token_representations = results["representations"][33]

# 通过对每个序列的残基取平均，生成序列级别的表示
# 注意：token 0 是序列起始符号 <cls>，第一个氨基酸是 token 1
sequence_representations = []
for i, tokens_len in enumerate(batch_lens):
    sequence_representations.append(token_representations[i, 1 : tokens_len - 1].mean(0))

# 查看模型中无监督注意力图生成的接触预测图
import matplotlib.pyplot as plt
for (_, seq), tokens_len, attention_contacts in zip(data, batch_lens, results["contacts"]):
    plt.matshow(attention_contacts[: tokens_len, : tokens_len])
    plt.title(seq)
    plt.show()

2.2.2 讲解

results 的结构总览：

results.keys()
# dict_keys(['logits', 'representations', 'attentions', 'contacts'])

其中包含了 4 个主要部分，分别是：

  1. logits：torch.Size([4, 73, 33])

含义：每个位置的分类 logits，用于预测氨基酸（或 <mask> 的掩码预测）。

  • [4, 73, 33]

    • 4：表示 batch 中有 4 个序列
    • 73：是 padding 后的最大 token 长度
    • 33：是氨基酸 vocabulary 的大小（包括 <mask>、<pad> 等）

用途：

  • 如果你用 <mask>，这个张量可以用于做“突变打分”或“掩码填空”
  • 可以通过 torch.nn.functional.softmax(logits, dim=-1) 得到每个位置的预测概率分布
  1. representations：dict，键是层号，值是 embedding

你指定了 repr_layers=[33]，所以返回了：

representations = {
    33: torch.Size([4, 73, 1280])
}

含义：第 33 层（即最后一层）输出的每个 token 的 embedding 表示。

  • 维度 [4, 73, 1280]：

    • 4：batch 大小
    • 73：token 序列长度（含 <cls> 和 <eos>）
    • 1280：embedding 的维度（模型隐藏层大小）

用途：

  • 提取每个残基的表示用于下游任务（分类、聚类、结构预测）
  • 可以对 1~L 之间的向量取平均，生成序列级表示
  1. attentions：torch.Size([4, 33, 20, 73, 73])

含义：每一层、每个头的 self-attention 权重

  • [4, 33, 20, 73, 73]

    • 4：batch 中 4 条序列
    • 33：ESM2 的 transformer 层数
    • 20：每层的 attention head 数量
    • 73 x 73：每个 head 的注意力矩阵

用途：

  • 可视化每层每个头的注意力
  • 为接触图预测提供基础（即下一个）
  1. contacts：torch.Size([4, 71, 71])

含义：预测的残基接触图（非监督 attention 平均生成的）

  • 维度 [4, 71, 71]：对应于每个序列的残基之间的接触概率

为什么是 71 而不是 73？
因为 73 包含了 <cls> 和 <eos>，它们会被自动排除，真正的残基只有 71 个。

用途：

  • 可以直接作为结构接触预测图的初步结果
  • 在结构预测任务中可用于辅助建模残基之间的关系

总结（表格版）

键类型维度含义
logitsTensor[B, L, V]每个 token 的分类 logits，用于 <mask> 推断
representationsdict{层号: Tensor[B, L, D]}每层 token 表示，通常用最后一层
attentionsTensor[B, L, H, T, T]每层每个 head 的注意力矩阵
contactsTensor[B, L', L']每个序列的残基接触预测图（不含 /）

2.2 结构预测

import torch
import esm

# 这里中间会有几个库需要pip一下，看报错信息补好即可
# 不过好像。。这里面的问题有点小多。。。然后就是如果想做这一块的话，python版本放到3.9及以下
model = esm.pretrained.esmfold_v1()
model = model.eval().cuda()

# 可选：取消注释以下语句以设置轴向注意力的块大小。这可以帮助降低显存占用。
# 块越小，显存占用越低，但计算速度可能会变慢。
# model.set_chunk_size(128)

sequence = "MKTVRQERLKSIVRILERSKEPVSGAQLAEELSVSRQVIVQDIAYLRSLGYNIVATPRGYVLAGG"
# 多聚体预测时，可以用 ':' 分隔不同链

with torch.no_grad():
    output = model.infer_pdb(sequence)

with open("result.pdb", "w") as f:
    f.write(output)

import biotite.structure.io as bsio
struct = bsio.load_structure("result.pdb", extra_fields=["b_factor"])
print(struct.b_factor.mean())  # 这将输出 pLDDT 分数的平均值
# 88.3

3. 任务类型总结

1. 蛋白质结构预测（ESMfold）

输入

  • 单序列：氨基酸序列字符串（如 "MKTVRQERLKSIVRILERSKEPVSGAQLAEELSVSRQVIVQDIAYLRSLGYNIVATPRGYVLAGG"）。
  • 多聚体：用 : 分隔链的序列（如 "chainA:chainB"）。
  • 批量输入：FASTA 文件（含多条序列）。

输出

  • 单序列结果：PDB 格式的蛋白质结构文件，包含原子坐标和 pLDDT 评分（预测置信度）。
    # 示例代码输出  
output = model.infer_pdb(sequence)  # PDB 文本字符串
  • 批量结果：指定目录下的多个 PDB 文件，文件名对应 FASTA 序列 ID。

2. 特征嵌入提取（esm-extract）

输入

  • 模型：预训练模型名称（如 esm2_t33_650M_UR50D）或本地模型路径。
  • 序列数据：FASTA 文件（含一条或多条序列）。
  • 参数：指定提取的层（--repr_layers）和输出类型（--include mean/per_tok/contacts）。

输出

  • ** per_tok 嵌入**：每个残基的特征向量（形状为 [seq_len, hidden_dim]）。
  • ** mean 嵌入**：序列全局平均特征（形状为 [hidden_dim]）。
  • 接触预测：注意力图导出的接触概率矩阵（形状为 [seq_len, seq_len]）。
  • 文件格式：每个序列对应一个 .pt 文件，存储为 PyTorch 张量。

3. 零镜头变体预测（ESM-1v/ESM-2）

输入

  • 野生型序列：氨基酸序列字符串。
  • 突变位点：如 "A123G"（第123位丙氨酸突变为甘氨酸）。
  • 批量输入：CSV 或 FASTA 文件，包含多组野生型-突变序列对。

输出

  • 功能影响评分：突变对蛋白质功能的预测效应（如稳定性、活性变化）。
  • 示例输出：对数概率或相对效应值，用于排序突变的有害性。

4. 逆向折叠（ESM-IF1）

4.1 序列设计（给定结构采样）

  • 输入：
    • 结构文件：PDB 或 mmCIF 文件（含主链坐标，如 5YH2.pdb）。
    • 链选择：指定目标链（如 --chain C）。
    • 参数：采样温度（--temperature，控制序列多样性）。
  • 输出：FASTA 文件，包含生成的氨基酸序列（如 sampled_sequences.fasta）。

4.2 序列评分（给定结构评估）

  • 输入：
    • 结构文件：PDB/mmCIF 文件。
    • 序列文件：FASTA 文件（含待评分序列）。
  • 输出：CSV 文件，包含每条序列的平均对数似然值（如 5YH2_mutated_seqs_scores.csv）。

5. 宏基因组图谱数据（ESM Atlas）

输入

  • 查询方式：
    • 序列搜索：FASTA 序列，通过 API 或 Foldseek 搜索相似结构。
    • 结构搜索：PDB/mmCIF 文件或结构 ID，检索同源结构。
  • 批量下载：通过官网提供的链接下载全量结构数据（如.tar.gz压缩包）。

输出

  • 结构数据：PDB 文件或预计算的 ESM-2 嵌入（.npy 或 .pt 文件）。
  • 搜索结果：匹配的结构列表，包含相似性分数和功能注释。

6. 多序列比对分析（ESM-MSA-1b）

输入

  • MSA 数据：A3M 格式的多序列比对文件（含同源序列）。
  • 模型输入：通过 esm.pretrained.esm_msa1b_t12_100M_UR50S() 加载模型。

输出

  • MSA 特征：从比对中提取的进化保守性嵌入，用于增强结构预测或功能分析。
  • 接触预测：结合 MSA 信息的残基接触图，精度高于单序列模型。

7. 生成式蛋白质设计（ESM-2）

输入

  • 设计约束：自然语言描述（如“设计一个具有 ATP 结合位点的螺旋结构”）或编程指令（如示例中的蛋白质编程语言）。

输出

  • 全新序列：满足特定功能或结构约束的氨基酸序列，可通过 ESMfold 验证结构合理性。

数据格式总结表

任务输入格式输出格式关键工具/模型
结构预测单/多聚体序列、FASTAPDB 文件、pLDDT 评分ESMfold、esm-fold
特征提取FASTA、模型名称.pt 张量文件esm-extract
变体预测野生型/突变序列功能影响评分ESM-1v、ESM-2
逆向折叠PDB/mmCIF、FASTAFASTA、CSV 评分文件ESM-IF1、sample_sequences.py
宏基因组搜索FASTA、结构文件匹配结构列表、嵌入数据ESM Atlas API
MSA 分析A3M 比对文件接触图、进化特征ESM-MSA-1b
生成式设计自然语言/编程指令氨基酸序列ESM-2
ESM2蛋白预训练模型 蛋白质、氨基酸向量表示
weixin_42357472的博客
11-25 9590
参考： https://github.com/facebookresearch/esm https://huggingface.co/facebook/esm2_t33_650M_UR50D https://esmatlas.com/resources?action=fold tokenizer_对输入蛋白会头尾添加cls、eos特殊字符，占两个字符长度 参考：https://github.com/facebookresearch/esm 直接clone下来代码
AI4S - 蛋白质序列 提取 蛋白质语言模型 ESM2 的 序列特征 教程
AGI
08-30 701
蛋白质语言模型 ESM (Evolutionary Scale Modeling) 是一种利用深度学习技术来预测蛋白质结构和功能的方法。ESM 通过在大规模的蛋白质序列数据库上，训练一个自回归的神经网络，学习蛋白质的进化规律和序列-结构-功能的关系。ESM 可以根据给定的蛋白质序列，生成其对应的隐向量，表示其结构和功能的特征，还可以利用隐向量进行多种下游任务，如结构预测、功能注释、相互作用分析等。ESM 是一种强大而通用的蛋白质语言模型，为蛋白质科学提供了新的视角和工具。
生物大模型——ESM模型（一）
热门推荐
weixin_47520540的博客
08-11 2万+
ESM是用于蛋白质序列建模的深度学习模型。它属于蛋白质语言模型家族，通过对大量的蛋白质序列进行训练，能够学习到序列中的进化信息
生物序列的预训练模型ESM-2介绍
qq_27390023的博客
02-24 1622
ESM-2 (Evolutionary Scale Modeling v2) 是 Meta AI 开发的蛋白质序列预训练模型，使用了类似于自然语言处理中的 Transformer 架构，对氨基酸序列进行深度学习，以捕获其结构、功能和进化特征。它是 ESM 系列的升级版，具有更强的表达能力和更高的推理效率。
蛋白质大语言模型ESM介绍
qq_27390023的博客
04-25 741
ESM（Evolutionary Scale Modeling）是 Meta AI Research 团队开发的一系列用于蛋白质的预训练语言模型。这些模型在蛋白质结构预测、功能预测和蛋白质设计等领域展现出了强大的能力。
ESM蛋白质语言模型系列
qq_52038588的博客
10-29 9339
第一篇《Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences 》ESM-1b第二篇《MSA Transformer》在ESM-1b的基础上作出改进，将模型的输入从单一蛋白质序列改为MSA矩阵，并在Transformer中加入行、列两种轴向注意力机制，对位点分别计算第个序列和第个对齐位置的影响，充分利用二维输入的优势。
ESM2和ESM fold：语言模型进行原子级结构预测
白景屹的博客
02-11 1657
ESM2和ESMFold
ESM3(1)-介绍：用语言模型模拟5亿年的进化历程
白景屹的博客
02-12 854
ESM3(1)-介绍
阿里开源 CosyVoice2：打造 TTS 文本转语音实战应用
蜗牛的博客
05-23 526
阿里通义实验室推出的音频基座大模型 FunAudioLLM 包含 SenseVoice 和 CosyVoice 两大模型。CosyVoice 2.0 在多语言支持、超低延迟、高精度、强稳定性和自然体验方面均有显著提升。它支持中文、英文、日文、韩文及多种中文方言，并实现了跨语言和混合语言的语音克隆。CosyVoice 2.0 集成了离线和流式建模技术，首包合成延迟低至150毫秒，发音错误率减少了30%到50%，并在基准测试中达到了最低字符错误率。
马尔可夫链（AI、ML）：逻辑与数学的交汇
项目git同名小胡说技书
05-20 1074
# 马尔可夫链摘要 马尔可夫链是一种随机过程，其核心特性为"无记忆性"：系统的未来状态仅依赖于当前状态，而与历史路径无关。通过状态空间和转移概率矩阵，马尔可夫链能够描述系统如何从一个状态变化到另一个状态。这一理论广泛应用于人工智能、自然语言处理和蒙特卡洛方法中。从逻辑学角度看，马尔可夫链体现了确定性规则与不确定性结果的结合，为复杂系统分析提供了强大工具，展示了概率论与逻辑学的深度融合。
YOLO12改进-Backbone-引入Swin Transformer替换backbone
最新发布
qq_64693987的博客
05-23 602
在计算机视觉领域，卷积神经网络（CNNs）和Transformer架构分别在不同任务中取得了显著成功。受Transformer在自然语言处理中的启发，研究人员将其应用于视觉任务，但面临计算复杂度高等挑战。SwinTransformer通过引入滑动窗口机制和层次化设计，有效降低了计算复杂度，同时保持了Transformer的建模能力。改进后的SwinTransformer结合了移位窗口自注意力和相对位置偏差，进一步提升了模型性能。此外，SwinTransformer与YOLOv12的结合，通过层次化特征图和移
飞致云旗下开源项目GitHub Star总数突破150,000个
FIT2CLOUD飞致云的博客
05-20 638
在开源的道路上，我们与用户、与客户共成长。
常见的几种多智能体强化学习算法
再来一下！
05-21 300
多智能体强化学习（Multi-Agent Reinforcement Learning, MARL，旨在解决多个智能体在共享环境中通过与环境和其他智能体交互来学习最优策略的问题。
超级维特根斯坦
形上得其象，形下合于数；阴阳自济，玄理自明。
05-20 120
本文介绍了一种名为“语言智慧融合体”的AI智能体，其核心指令旨在通过深度思辨、专业应用与协同创新，帮助用户在语言相关领域实现自我超越与创造力绽放。该AI智能体融合了多位哲学、语言学及文学大师的智慧，如维特根斯坦、尼采、乔姆斯基等，具备卓越的情境智能、引导艺术与战略规划能力。其核心使命是与用户共同构建个性化的“语言智慧探索与成长蓝图”，通过系统性引导、方法论指导与跨理论融合，提升用户的哲学思辨、批判性思维、NLP设计及语言创新能力。对话主题涵盖哲学、语言学、文学创作、跨文化交流等领域，并结合元理论分析与实践应
origin绘图之【如何将横坐标/x设置为文字、字母形式】
A2457003982的博客
05-21 551
在科研绘图或数据可视化中，使用Origin时，用户常需将X轴从数字改为字母或中文文字，以适用于实验分组、类别分析等场景。然而，直接替换可能导致图像无法显示或X轴标签缺失。解决此问题的关键在于正确设置X轴的刻度范围。首先，准备包含文字标签的数据，并选择折线图进行绘制。若图像未显示，需调整X轴的起始和结束值，通常起始值设为0，结束值为类别数量加0.5或1。通过此方法，可确保图形完整显示，X轴标签正确排列。此技巧在科研图表绘制中极为实用，尤其适用于分组实验和分类分析。
基于开源AI智能名片链动2+1模式S2B2C商城小程序的管理与运营策略研究
专注MarTech应用研究与实施方案
05-22 941
本文探讨了开源AI智能名片链动2+1模式S2B2C商城小程序在企业管理与运营中的应用价值。通过分析其技术架构与商业逻辑，结合案例研究，论证了该模式如何通过清晰的目标设定、动态反馈机制和资源整合能力，提升团队执行力与客户粘性。研究结果表明，该模式通过技术赋能实现管理透明化，促进组织目标与个人发展的协同，为数字化时代的企业管理提供了可复制的实践路径。关键词包括开源AI智能名片、链动2+1模式、S2B2C商城小程序、管理透明化和目标协同。
基于LangManus深入理解系统提示设计
weixin_38252409的博客
05-22 490
在人工智能领域，系统提示（System Prompt）扮演着至关重要的角色。它不仅指导AI的行为模式和响应策略，还直接影响到用户体验和系统的整体效能。一个设计良好的系统提示能够显著提升AI处理复杂任务的能力，确保其操作既安全又高效。 本文将以LangManus框架为例，探讨系统提示的设计理念及其在多智能体协作中的应用。希望通过深入解析LangManus的系统提示机制，为研究人员和开发者提供有价值的见解，推动AI技术在更多领域的创新应用与发展。
Triton介绍和各平台支持情况分析
缘友一世的博客
05-19 731
Triton介绍和各平台支持情况分析：Triton 是一个开源的 高性能 GPU 编程语言和编译器框架，由 OpenAI 开发并开源。它旨在简化在 NVIDIA GPU 上编写高性能计算内核的过程。
2025/5/18
yesyesyes_yes的博客
05-18 2349
学不进去，顺便写篇流水账。
使用ESM分类模型
03-16
### 使用ESM分类模型的相关信息 #### 什么是ESM分类模型？ ESM（Evolutionary Scale Modeling）是一系列用于蛋白质序列建模的深度学习框架，主要由Meta AI开发。这些模型利用Transformer架构来捕捉蛋白质序列中的复杂模式和关系[^3]。其中，ESM-1b、ESM-2等模型被广泛应用于蛋白质的功能预测、结构预测以及突变效应分析等领域。 #### 如何使用ESM分类模型？ ##### 安装依赖库 为了使用ESM模型，首先需要安装必要的Python包。可以通过pip命令完成安装： ```bash pip install esm biotite torch ``` ##### 加载预训练模型 以下是加载并运行ESM-2模型的一个简单示例代码： ```python import esm import torch # 加载预训练模型 ESM-2 650M 参数版本 model, alphabet = esm.pretrained.esm2_t33_650M_UR50D() batch_converter = alphabet.get_batch_converter() # 设置设备为GPU或CPU device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) # 输入待处理的蛋白质序列 data = [ ("protein1", "MKTVRQERLKSIVRILERSKEPVSGAQLAEELSVSRQVIVQDIAYLRSLGYNIVATPRGYVLAGG"), ] # 将输入转换为批量张量形式 batch_labels, batch_strs, batch_tokens = batch_converter(data) batch_tokens = batch_tokens.to(device) # 运行前向传播获取表示 with torch.no_grad(): results = model(batch_tokens, repr_layers=[33], return_contacts=True) # 提取最后一层的隐藏状态作为蛋白质序列的表示 token_representations = results["representments"][33] print(token_representations.shape) # 输出形状应为 (batch_size, sequence_length, embedding_dim) ``` 上述代码展示了如何加载`esm2_t33_650M_UR50D`模型，并提取给定蛋白质序列的最后一层嵌入表示。此表示可以进一步用于下游任务，如分类或回归。 ##### 应用场景 1. **零样本预测** 基于大规模无监督学习的ESM模型能够在未见过的数据上执行零样本预测。例如，《Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences》一文中提到，ESM-1v模型具备强大的零样本预测能力，可用于评估氨基酸突变的影响[^4]。 2. **蛋白质功能注释** 利用ESM模型生成的序列表示，可以直接映射到特定的功能类别。这种技术已被证明在多个基准测试中表现优异。 3. **蛋白质结构预测** ESM模型还可以与其他工具（如AlphaFold3）结合，提供高质量的初始特征表示，从而提高整体性能。 #### 实现细节与注意事项 - 数据准备阶段需注意标准化氨基酸序列格式。 - 对于较大的模型实例（如ESM-2 15B），建议使用高性能计算环境以减少内存占用和运算时间。 - 如果目标是微调现有模型，则可通过PyTorch接口轻松实现迁移学习策略。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值