ESM2和ESM fold：语言模型进行原子级结构预测

最新推荐文章于 2025-02-24 09:38:57 发布
最新推荐文章于 2025-02-24 09:38:57 发布
阅读量1.4k 收藏 26
点赞数 16
分类专栏： 生物计算工具 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40943760/article/details/145545662
版权

机器学习领域的最新进展利用了多序列比对中的进化信息来预测蛋白质结构。这里作者则展示了如何使用大语言模型从蛋白质的一级序列直接推断出完整的原子级蛋白质结构。随着蛋白质序列语言模型的参数扩展到150亿，蛋白质结构的原子分辨率图像在学习到的表征中逐渐显现。这使得高分辨率结构预测的速度提升了一个数量级，从而能够对蛋白质进行大规模的结构表征。作者运用这一能力构建了ESM宏基因组图谱，对超过6.17亿个宏基因组蛋白质序列的结构进行了预测，其中包括超过2.25亿个高置信度的预测结果，这让后续的研究得以一窥天然蛋白质的广泛多样性。

来自：Evolutionary-scale prediction of atomic-level protein structure with a language model, Science, 2023

目录

背景概述

在进化尺度上，蛋白质序列蕴含着生物结构和功能的信息。蛋白质的生物学特性限制了其序列中通过进化选择的突变。因此，蛋白质的结构和功能可以从序列模式中推断出来。从经典方法到深度学习的引入，再到如今的高精度结构预测，这一认知一直是计算结构预测取得进展的核心。

语言模型有潜力学习蛋白质序列在进化过程中的模式。这一想法推动了对进化尺度语言模型的研究，在这类模型中，基础模型学习反映潜在生物学特征的表征，并且随着表征能力的增强，能够在低分辨率下捕捉蛋白质的二级结构和三级结构。 从香农的文本熵模型开始，复杂度不断提升的语言模型得以开发，最终发展出现代基于注意力机制的大规模架构。尽管文本语言模型的训练目标很简单，比如填充缺失单词或预测下一个单词，但它们展现出了涌现能力，这种能力会随着计算能力、数据量和参数数量的增加而发展。现代语言模型拥有数百亿甚至数千亿参数，并展现出诸如少样本语言翻译、常识推理和数学问题解决等能力，而且这些都无需明确的监督。

作者认为，在进化过程中填补蛋白质序列中缺失氨基酸的任务，需要语言模型理解产生这些序列模式的潜在结构。随着语言模型的表征能力以及其在训练中接触到的蛋白质序列多样性的增加，有关蛋白质序列生物学特性的深层次信息将会显现，因为正是这些特性产生了人们在序列中观察到的模式。为了研究这种涌现现象，作者将语言模型的参数规模从800万扩展到150亿。发现原子分辨率的结构在语言模型中逐渐显现，并且在参数规模跨越四个数量级的过程中持续改进。语言模型对蛋白质序列的理解程度（困惑度）与结构预测的准确性之间存在很强的相关性，这揭示了语言建模与结构学习之间的紧密联系。

作者证明了语言模型能够直接从序列实现快速的端到端原子分辨率结构预测。该方法利用语言模型捕获的进化模式来生成精确的原子级预测。这消除了当前最先进的结构预测流程中成本高昂的部分，既无需进行多序列比对（MSA），又极大地简化了用于推理的神经架构。这使得仅推理前向传递的速度就提高了多达60倍，同时还完全省去了相关蛋白质的搜索过程。使用AlphaFold和RoseTTAFold的高灵敏度流程时，搜索过程可能需要超过10分钟，即使是最近灵敏度较低的快速流程，搜索过程也是计算成本的重要组成部分。在实际应用中，这意味着与最先进的预测流程相比，速度提升了一到两个数量级。

这种速度优势使得将结构预测扩展到宏基因组规模的数据集成为可能。在过去十年中，人们致力于通过宏基因组采样，将对蛋白质序列的认知扩展到地球上微生物的巨大自然多样性领域。这些努力促使蛋白质序列数据库的规模呈指数级增长，如今数据库中已包含数十亿种蛋白质。最近，对人类蛋白质组中约2万种蛋白质以及UniProt中约2亿种已编目的蛋白质的计算结构表征工作已经完成，但宏基因组蛋白质的庞大数量对结构表征来说是一个更大的挑战。宏基因组结构的范围和多样性仍是未知的，这是生物学知识的前沿领域。

作者对宏基因组蛋白质进行了进化尺度的结构表征，几乎对MGnify90数据库中的所有序列（超过6.17亿种蛋白质）进行了折叠预测。作者在由2000个GPU组成的异构集群上，仅用2周就完成了这一表征工作，这表明该方法可扩展应用于更大规模的数据库。作者对超过2.25亿个结构进行了高置信度预测，揭示并描绘了与现有认知相距甚远的宏基因组空间区域。这些预测的结构可在ESM宏基因组图谱（https://esmatlas.com）这一开放科学资源中获取。

在基于蛋白质序列训练的语言模型中，原子分辨率的结构逐渐显现

作者训练了一系列基于Transformer的蛋白质语言模型ESM-2，其参数规模从800万到150亿不等。与上一代模型ESM-1b相比，ESM-2在架构（带RoPE的BERT）、训练参数方面进行了改进，并增加了计算资源和数据量。由此产生的ESM-2模型系列在参数数量相当的情况下，性能优于之前最先进的ESM-1b。并且在结构预测benchmark上优于其他蛋白质语言模型。

ESM-2 被训练用于预测从蛋白质序列中随机被屏蔽掉的氨基酸的类别： L M L M = − ∑ i ∈ M log ⁡ p ( x i ∣ x / M ) \mathcal{L}_{MLM}=-\sum_{i \in M} \log p(x_{i} | x_{/M}) L

最低0.47元/天 解锁文章
ESM2蛋白预训练模型 蛋白质、氨基酸向量表示
weixin_42357472的博客
11-25 9342
参考： https://github.com/facebookresearch/esm https://huggingface.co/facebook/esm2_t33_650M_UR50D https://esmatlas.com/resources?action=fold tokenizer_对输入蛋白会头尾添加cls、eos特殊字符，占两个字符长度 参考：https://github.com/facebookresearch/esm 直接clone下来代码
AI4S - 开源 OpenFold: 蛋白质结构预测的 HHSearch 搜索 Template 教程(12)
AGI
09-14 4482
HHsearch 是基于 HMM-HMM 比较的算法实现的搜索工具，可以用来检测蛋白质的远缘同源性，生成高质量的序列比对，用于同源建模和功能预测。优点是可以利用蛋白质序列的共进化信息，提高搜索的灵敏度和准确度。还可以使用多种结构域数据库进行搜索，包括PDB、SCOP、Pfam等，增加了搜索的覆盖度和多样性。
在 Amazon SageMaker 上使用 ESMFold 语言模型加速蛋白质结构预测
亚马逊云科技专栏
10-09 985
蛋白质驱动着许多生物过程，如酶活性、分子输运和细胞支持。通过蛋白质的三维结构，可以深入了解蛋白质的功能以及蛋白质如何与其他生物分子相互作用。测定蛋白质结构的实验方法（如 X 射线晶体学和核磁共振波谱学）既昂贵又耗时。相比之下，最近开发的几种计算方法能够根据蛋白质的氨基酸序列快速准确地预测蛋白质的结构。这些方法对于难以通过实验研究的蛋白质至关重要，例如膜蛋白，它是许多药物的靶标。在这些方法中，一个众...
ESM蛋白质语言模型系列
qq_52038588的博客
10-29 8973
第一篇《Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences 》ESM-1b第二篇《MSA Transformer》在ESM-1b的基础上作出改进，将模型的输入从单一蛋白质序列改为MSA矩阵，并在Transformer中加入行、列两种轴向注意力机制，对位点分别计算第个序列和第个对齐位置的影响，充分利用二维输入的优势。
Ubuntu22.04+GPU4090 的 esmfold+openfold 安装全流程
weixin_52004233的博客
06-28 4395
基于Ubuntu22.04+GPU的esmfold+openfold安装教程
使用ESMFold提取蛋白质embedding的python实现
qq_49370210的博客
03-04 2294
ESM Fold 利用了大规模的蛋白质序列数据和进化信息，通过深度神经网络模型进行训练，以预测蛋白质的二级结构、残基接触图和三维结构。该模型的预测能力取决于其训练数据的质量和数量，以及模型的架构和参数设置。示例的维度为（2，19840），因为我们将每个样本中的所有位置的 embedding 向量连接起来，得到每个样本的一个长向量表示。因此，这个数据张量的形状 (2, 62, 320) 提供了关于两个样本中蛋白质序列的信息，以及每个序列中每个位置的嵌入表示。确保序列的格式符合模型的要求。
ESMM模型与ESM2模型总结
rotation博客
10-20 6406
ESSM模型 2018 阿里妈妈 SIGIR 原文链接：Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate 该论文基于Multi-Task Learning 的思路，提出一种新的CVR预估模型，有效解决了真实场景中CVR预估面临的数据稀疏以及样本选择偏差这两个关键问题。 Sample Selection Bias (SSB)：转化是在点击之后才“有可能”发生的动作，传统
生物序列的预训练模型ESM-2介绍
最新发布
qq_27390023的博客
02-24 1403
ESM-2 (Evolutionary Scale Modeling v2) 是 Meta AI 开发的蛋白质序列预训练模型，使用了类似于自然语言处理中的 Transformer 架构，对氨基酸序列进行深度学习，以捕获其结构、功能和进化特征。它是 ESM 系列的升级版，具有更强的表达能力和更高的推理效率。
RS Meet DL(66)-[阿里]基于多任务学习的CVR预估模型ESM2
abcdefg90876的博客
10-19 642
今天介绍的文章名称是《Conversion Rate Prediction via Post-Click Behaviour Modeling》在本系列的第十九篇文章中，...
推荐论文阅读之多任务建模ESM2
Viking的博客
11-21 913
介绍 CVR转化率预估过程中存在样本选择偏差和数据稀疏问题。这两个问题在阿里的上一篇论文ESMM中有提到，这里介绍一下。 样本选择偏差：CVR模型建模通常使用点击后的样本post-click，或者说使用记录用户在点击后是否产生订单的数据；而模型在实际应用过程中是在整个样本空间上，用户还没有发生点击。这就导致数据有偏，不同分布。在post-click样本上建模后，在实际应用过程中并不能保证模型的准确性，而且应用模型的泛化能力。 数据稀疏：在电商系统，如淘宝，用户的行为链，通常包括曝光、点击、购买，各个
生物大模型——ESM模型（一）
热门推荐
weixin_47520540的博客
08-11 2万+
ESM是用于蛋白质序列建模的深度学习模型。它属于蛋白质语言模型家族，通过对大量的蛋白质序列进行训练，能够学习到序列中的进化信息
ESM蛋白质语言模型学习笔记一
weixin_43950953的博客
04-23 3072
蛋白质-蛋白质相互作用位点预测的时需要的是representations。加载模型后使用示例的data，模型的输出结果results包含以下内容。include里面自己可以设置保存的嵌入，以下是命令行的使用文档。在服务器上，安装使用。
AI4S - 蛋白质序列 提取 蛋白质语言模型 ESM2 的 序列特征 教程
AGI
08-30 675
蛋白质语言模型 ESM (Evolutionary Scale Modeling) 是一种利用深度学习技术来预测蛋白质结构和功能的方法。ESM 通过在大规模的蛋白质序列数据库上，训练一个自回归的神经网络，学习蛋白质的进化规律和序列-结构-功能的关系。ESM 可以根据给定的蛋白质序列，生成其对应的隐向量，表示其结构和功能的特征，还可以利用隐向量进行多种下游任务，如结构预测、功能注释、相互作用分析等。ESM 是一种强大而通用的蛋白质语言模型，为蛋白质科学提供了新的视角和工具。
用生物分子大语言模型预测蛋白质结构和性质
大模型
09-22 1153
NVIDIA现在可用于早期访问。在 2022 年秋季 GTC 上， NVIDIA 发布了 BioNeMo ，这是一个特定领域的框架和服务，用于在数十亿参数的超级计算规模上培训和服务化学和生物学的生物分子大语言模型（ LLM ）。Bio NeMo 服务针对化学、蛋白质组学和基因组应用进行了域优化，旨在支持化学结构 SMILES 表示法中表示的分子数据，以及蛋白质、 DNA 和 RNA 的氨基酸和核酸序列 FASTA。
ESMFold conda安装、使用及与AlphaFold的简单比较
Blockbuster_drug
02-20 7715
ESMFold 是一款由 Meta AI 团队开发的高精度蛋白质结构预测工具。相较于其他蛋白质结构预测方法，例如 AlphaFold2 和 RoseTTAFold，ESMFold 具备更快的预测速度。（1）ESMFold官方提供安装指引较为繁琐，本文提供了conda版本的快速便捷安装方法。（2）通过案例介绍ESMFold单个结构序列和批量结构序列的预测方法。
Science前沿：大语言模型涌现演化信息，加速蛋白质结构预测
人工智能学家
04-11 955
导语从蛋白质序列直接预测三维结构，AlphaFold 此前取得了突破性进展。而蛋白质与人类的语言有天然的相似性，蛋白质的氨基酸序列就像是语言的字母，语言模型有可能在整个演化过程中学习蛋白质序列的模式，是否可以用大语言模型预测蛋白质结构呢？在近日发表于 Science 的一项最新研究中，来自 meta AI 团队的研究者采用能够涌现出演化信息的大语言模型，开发了一个从序列到结构的预测器 ESMFol...
计算生物学习——Code_ESM-2输出蛋白质的特征表示_解决无法用代码线上加载模型（06.20-06.21）
weixin_43213559的博客
06-21 5054
今天，根据大佬loong_XL指点去查看了源头代码，发现问题--解决问题
如何用esm2运行蛋白质序列？
01-31
要使用ESM2运行蛋白质序列分析，您需要按照一系列步骤来进行准备和操作。以下是详细的指南： ### 步骤一：安装必要的依赖项 首先，确保您的环境中已经安装了Python以及相关的库。推荐使用虚拟环境来管理依赖。 ```bash # 创建并激活虚拟环境 (例如名为 esm_env) python3 -m venv esm_env source esm_env/bin/activate # Linux/MacOS # 或者 Windows 用户： # esm_env\Scripts\activate.bat # 安装 PyTorch 和其他必需的 Python 包 pip install torch biopython numpy transformers requests ``` ### 步骤二：下载预训练模型及脚本 访问[Meta AI 的 GitHub 页面](https://github.com/facebookresearch/esm) 并克隆仓库，里面包含了官方提供的示例代码和预训练模型链接。 ```bash git clone https://github.com/facebookresearch/esm.git cd esm ``` ### 步骤三：加载预训练模型 接下来，在 Python 中导入所需的模块并且加载 ESM2 模型。这里我们以 `esm.pretrained.esm2_t33_650M` 为例，这是较大的版本之一。 ```python import torch from esm import pretrained model, alphabet = pretrained.load_model_and_alphabet("esm2_t33_650M") batch_converter = alphabet.get_batch_converter() model.eval() # 设置为评估模式 ``` ### 步骤四：输入蛋白质序列并获取嵌入向量 将待处理的蛋白质序列转换成适合模型的形式，并通过前馈过程计算其表征（即嵌入）。注意这里的序列应符合 FASTA 格式规范。 ```python data = [ ("protein1", "MKTVRQERLKSIVRKDFYPNL"), ] # 示例蛋白名称及其对应的氨基酸序列字符串 batch_labels, batch_strs, batch_tokens = batch_converter(data) with torch.no_grad(): results = model(batch_tokens, repr_layers=[33], return_contacts=True) embeddings = results["representations"][33] print(embeddings.shape) # 输出维度 [批量大小, 序列长度 + 2, 隐藏层单元数] ``` 在这个例子中，我们将最后一层 (`layer=33`) 提取出来的特征作为最终的表征结果。当然也可以选择其他的隐藏层次来做进一步的研究或者应用需求调整。 ### 相关提示： - 如果遇到内存不足的问题，可以选择较小规模的模型变体如 `esm2_t6_8M` - 对于大批量的数据集处理建议采用批处理的方式提高效率 - 可视化工具可以辅助解释所得出的结果，例如 t-SNE 图形展示高维空间分布情况
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值