AlphaFold2：Highly accurate protein structure prediction with AlphaFold（蛋白质结构预测）

已于 2024-08-18 20:25:37 修改
阅读量1.1k 收藏 47
点赞数 24
文章标签： 人工智能 github 神经网络 深度学习 transformer python nlp
于 2024-08-18 14:44:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zfzerorr/article/details/141299341
版权

ICLR-15 July 2021

Main Method: MSA+Evoformer

Pytorch code: https://github.com/lucidrains/alphafold2

literatures：https://www.nature.com/articles/s41586-021-03819-2

John Jumper, Richard Evans, Alexander Pritzel, Tim Green, Michael Figurnov, Olaf Ronneberger, Kathryn Tunyasuvunakool, Russ Bates, Augustin Žídek, Anna Potapenko, Alex Bridgland, Clemens Meyer, Simon A. A. Kohl, Andrew J. Ballard, Andrew Cowie, Bernardino Romera-Paredes, Stanislav Nikolov, Rishub Jain, Jonas Adler, Trevor Back, Stig Petersen, David Reiman, Ellen Clancy, Michal Zielinski, Martin Steinegger, Michalina Pacholska, Tamas Berghammer, Sebastian Bodenstein, David Silver, Oriol Vinyals, Andrew W. Senior, Koray Kavukcuoglu, Pushmeet Kohli & Demis Hassabis

Deepmind

  好的视频讲解：AlphaFold 2 论文精读【论文精读】_哔哩哔哩_bilibili

AlphaFold3体验( AlphaFold Server):Google DeepMind and Isomorphic Labs introduce AlphaFold 3 AI model

目录

1. Introduction​编辑

1.1 背景

1.2 效果展示

2. Motivation

3. Method

3.1 整体框架​编辑

3.2 特征构造和表示​编辑

3.3 Evoformer模块​编辑

3.3.1 Row-wise gated self-attention with pair bias

3.3.2 Column-wise gated self-attention

3.3.3 Transition

3.3.4 Outer product mean

3.3.5 Triangular multiplicative update

3.3.6 Triangular self-attention

3.4 Structure module

3.4.1 蛋白质相对位置

3.4.2 整体框架

3.4.3 IPA

3.4.4 Backbone update

3.5 主损失函数

4. Experiment

1. Introduction

1.1 背景

蛋白质对生命至关重要，如果获得蛋白质的氨基酸序列，可以唯一确定其结构，得到其结构，可以有助于理解其功能机制（注：一个蛋白质序列只能生成一种蛋白质结构，但一个蛋白质结构可以对应多种氨基酸序列）。通过大规模的实验努力，人类已确定了大约10万个独特序列较短蛋白质的结构，但这仅代表了已知数十亿蛋白质序列中的一小部分。蛋白质结构的研究受到了冗长且费时的制约，通常需要数月甚至数年的时间通过Xray射线等复杂的实验，通过不断旋转蛋白质3D形态人工记录来确定单个蛋白质的结构。

以前的蛋白质设计，都是从自然界寻找大量的拥有一定功能的蛋白质的突变氨基酸序列，用湿实验手段人工合成该突变蛋白质，然后再去测试它的功能性状是否有所提高。那时，只通过提供蛋白质序列来直接了解蛋白质的功能是根本不可能的。也就是说人类不可能实现蛋白质的从头设计。

因此，需要准确的计算方法来填补这一差距，实现大规模的结构生物信息学研究。基于氨基酸序列来预测蛋白质将采用的三维结构，即 “蛋白质折叠问题” 的结构预测部分，已经成为一个重要的研究问题超过50年。尽管近年来取得了一些进展，但现有的方法在没有类似结构可供参考的情况下远未达到原子级精度。AlphaFold2提供了首个可以定期预测蛋白质结构，即使在没有类似结构已知的情况下也能实现原子级精度的计算方法。在具有挑战性的第14届蛋白质结构预测评估（CASP14）中验证了我们基于神经网络的AlphaFold模型的全新版本，证明其在大多数情况下与实验结构的准确性相媲美，远远优于其他方法。AlphaFold的最新版本的基础是一种融合了有关蛋白质结构的物理和生物知识的新型机器学习方法，利用多序列比对来设计深度学习算法。

AlphaFold的出现，直接为氨基酸序列和蛋白质结构建立了一个桥梁，真正实现了针对特定的蛋白质功能，从头设计蛋白质结构，直接节省了大量的人力、物力和时间。

1.2 效果展示

2. Motivation

下面是核心思想很重要：

  1. 蛋白质结构预测领域中的两个主要方法路径：进化历史和物理相互作用。这两条路径分别关注不同的方面，并在蛋白质结构预测中起着互补的作用。

  2. 进化历史路径利用了蛋白质的进化信息来推断其结构。通过分析蛋白质序列的同源性和具有已知结构的蛋白质之间的进化关系，可以从进化历史的角度得出与结构相关的约束。这种方法受益于已知蛋白质结构在PDB数据库中不断增长，可以通过同源性关系提供更多的约束信息。

  3. 另一方面，物理相互作用路径将分子驱动力的理解纳入蛋白质物理学的热力学和动力学模拟中。它尝试通过模拟蛋白质中的物理相互作用（如氢键、疏水效应、静电相互作用等）来预测蛋白质的三维结构。然而，由于分子模拟的计算复杂性、蛋白质稳定性的上下文依赖性以及建立精确的物理模型的挑战，对于中等大小的蛋白质来说，物理相互作用路径具有很高的挑战性。

3. Method

3.1 整体框架

AlphaFold2网络是一个用于预测蛋白质的3D结构的模型。它使用一级氨基酸序列和同源序列作为输入，通过两个主要阶段来生成蛋白质的结构。第一阶段是通过Evoformer网络块处理输入，生成经过处理的多序列比对（MSA）和残基对的数组。这个阶段的关键创新是通过一种新的机制，在MSA和配对表示之间交换信息，从而推理出蛋白质的空间和进化关系。第二阶段是通过结构模块引入蛋白质的3D结构。这个模块通过引入旋转和平移的方式，将每个蛋白质残基的3D结构表示为全局刚体框架。这个阶段的关键创新包括破坏链结构以允许局部结构的细化，一个能够推理未表示的侧链原子的等变量转换器，以及对结构精确性的重点权重。整个网络通过迭代优化的概念来提高准确性，即通过重复应用损失输出并将输出反馈到相同模块进行优化。

  1. 搜索同源序列和模板：

      最终，模型的输入部分会得到两大类特征，分别是不同序列之间的特征（进化历史）和氨基酸之间的特征（物理相互作用）。

    1. MSA，这部分可以理解为提取与该序列相关性物种进化历史的特征，通过这些相似的进化规律，辅助预测蛋白质结构：

      1. 直接输入：其中一段序列直接放入编码器。

      2. 多序列相似度比对（MSA，Multi Sequence Alignment）：使用基因序列数据库（UniRef90 (JackHMMER)、BFD(HHnlits)、Mgnify cluster(JackHMMER) 微生物组数据库）进行多序列相似度比对并顺便进行了对齐，即将目标蛋白质序列与相关序列进行比对以找到相似的区域。这一步骤有助于获得序列之间的保守区域和变异区域。（那么这样一来，这些比较接近的氨基酸序列和其结构也可以作为特征的一部分来辅助模型判断，这是一个很典型的将专家知识加入机器学习系统的方法。作者也提到如果不加上MAS特征，准确率会掉将近10个点。所以MSA特征是AlphaFold的一个重要组成部分。）

    2. Pair representation，这部分是直接根据输入的序列研究模版数据库中的氨基酸之间的各种物理引力的特征关系，然后映射成向量:

      1. 氨基酸对比矩阵（Pairwise Residue Comparison Matrix）：用于比较每对氨基酸在空间位置上的关系，使用了一种矩阵表示来编码氨基酸之间的距离、相对方位等信息。

      2. 结构数据库搜索和模版匹配（Template Matching）：利用已知真实氨基酸对的空间信息，在结构数据库（PDB (用于训练)、PDB70聚类 (HHsearch)）中搜索相应的结构模版。这些结构模板可以提供参考，帮助AlphaFold预测目标蛋白质的结构。

  2. 特征构造和表示：

提取和交互MSA和Pair的特征。

  1. Evoformer部分（48层，不共享权重）：

    1. 编码器第一部分是$$s \times r \times c $$表示一个MSA representation三维数组的大小，其中 s 表示数组中序列的数量（也可以理解为样本数），r 表示每个序列中残基的数量（即序列长度），c 表示每个残基的通道数量。

    2. 编码器第二部分是$$ r\times r \times c $$ 表示一个Pair representation三维数组的大小，其中 r 表示每个序列中残基的数量（即序列长度），c 表示每个残基的通道数量。

    3. 48个Evoformer（其实是Transformer的变种），这里的Evoformer接受的不是像Transformer那样的一维序列，而是一个二维的矩阵。

  2. Structure module部分（8层）：

    1. 编码器输入和解码器输入的格式一样。

    2. 根据输入的相关信息预测蛋白质的具体结构。

  3. Recycling部分

    1. 将Evoformer的输出和蛋白质三维结构进行3次Recycling进行数据修正和精调，可以理解为网络再加深三倍。

    2. 但是循环有共享权重特性，也就是后面三次梯度不反向传递，节省了内存。

3.2 特征构造和表示

MSA包含了多物种信息特征，pair representation只包含一个物种的信息

3.3 Evoformer模块

  1. 上半部分两个多头注意力机制（分别按行和列（Transformer只有序列因此只有一维）进行自注意力）+Transiton(MLP)+残差连接机制。

  2. 下半部分四个多头注意力机制（使用三角连接，分别按边和节点进行自注意力）+Transiton(MLP)+残差连接机制。

  3. 上下部分氨基酸对的信息和序列信息相互交叉连接。

3.3.1 Row-wise gated self-attention with pair bias

在基于Transformer架构的多头自注意力机制中，Q、K、V分别代表查询向量（Query）、键向量（Key）和值向量（Value）。这三个向量用于计算注意力权重，并生成最终的输出表示。

MSA row-wise gated self-attention with pair bias. Dimensions: s: sequences, r:

residues, c: channels, h: heads.

  1. 在提到一行氨基酸序列$$（r,c_m）$$作为输入时，意味着将该序列作为数据输入到Transformer模型中来进行计算。根据多头（h）注意机制，可以利用Q、K、V进行计算，以获取注意力权重并生成输出表示。

  2. 除了常规的QKV之外，段落中还引入了一行gating（门）。这里的"门"表示使用sigmoid函数对数值进行处理，将较大的值映射到正常输出范围，而较小的值则被映射为0。这样的操作实现了对门的控制，起到了开关的作用。具体来说，在计算注意力权重时，通过使用gating操作，可以对不需要的信息进行抑制，从而更好地控制模型的注意力分配。这样的改进使得模型能够更加有效地处理氨基酸序列数据，并增加对不同部分的关注程度。通过控制门的开关，模型可以选择性地关注重要的特征，过滤掉不必要的噪声。这种机制的引入有助于提高模型的性能和表达能力。

  3. 再加上配对偏移的嵌入，那么这个自注意力分数，既来自于投影算出来的相似度，也来自于配对的相似度。

  1. 这里的将s物种的氨基酸序列中的第i号氨基酸的张量$${m_si} $$和序列对信息zij作为输入。第一步先经过LayerNorm，g是门，后面将会和self-attention输出做乘积。然后用多头权重矩阵$$W^h$$做LinearNoBias得到q、k和v。

  2. 把pair representation的每一个向量$$z_{ij}$$经过LayerNorm单独做LinearNoBias，得到h个标量，也就相当于把$$c_z$$分成了h层，得到b。注意softmax是对全体j进行操作的，也就是按行进行。同时需要嵌入b。（这里的累加比较难理解，但其实就是乘v的基本操作，因为作者前面只算了$$v_{si}$$，如下图所示，其实QK与V的每一个j都有累乘）

  1. 最后将输出进行联合（相当于h倍个按行方向的联合）后进行Linear即可得到和输入同维度的msi。

注：这里的计算可以参考下：

3.3.2 Column-wise gated self-attention

除了无配对偏差之外，与行门控自我注意机制的区别还在于：计算同一个氨基酸在不同蛋白质之间的相关性。

区别同MSA row-wise gated self-attention with pair bias在于没有嵌入，softmax是按列进行（也就是）。

3.3.3 Transition

Transition为了信息的提炼，此处相当于Transformer的MLP，这个MLP通常由两个线性层和一个激活函数组成，其中第一个线性层将特征维度映射到更高的维度，然后经过激活函数后再通过第二个线性层将维度映射回原始维度。这个MLP的作用是引入非线性变换，增强模型对特征的表达能力。（注意，这个线性投影的权重对于每一个$$c_m$$是共享的，也就是这里仅仅使用了一个权重矩阵）

3.3.4 Outer product mean

"Outer product mean"块是Transformer模型中的一个组件，用于将MSA表示转换为对称位置表示的更新。进行特征交叉。在这个块中，首先将所有MSA条目通过两个独立的线性变换进行线性投影，将维度从较高的值减小到c=32。然后，取两列i和j的向量的外积，并将这些外积在序列上进行平均。这样得到的结果会通过投影到维度cz来获得对位置ij的对称表示的更新。

3.3.5 Triangular multiplicative update

使用和残基i以及残基j共起点和共终点的边来更新边。

这部分建议直接看伪代码，思路其实很简单。就是确定两node，遍历所有可能性的第三node。

3.3.6 Triangular self-attention

使用从i出发或者终止的所有边来更新边（i，j）,和之前讲的图很像。

这部分和MSA row-wise gated self-attention with pair bias思路基本一致。

其实，基本思想和前面self-attention的几乎没变。

3.4 Structure module

3.4.1 蛋白质相对位置

蛋白质其实可以直接用绝对位置（三个坐标）表示，但是考虑到蛋白质的平移旋转，采用相对位置其实更为合适。

3.4.2 整体框架

首先，我们输入想要预测的单一蛋白质序列的特征，还有对信息，经过IPA模块（有残差）后，得到新的单一的特征（其中已经包含了氨基酸位置信息），下面部分进行预测相对主干的位置，同时把输出和单一特征一起输入到基于骨架枝叶上的原子填充计算，然后进入下一轮循环（一共八次共享权重的模块），不断更新位置。因此中间的模块其实是拿到了三大信息（氨基酸对信息、不断在更新的序列的信息和蛋白质主干的信息）。

3.4.3 IPA

  1. 这里有三个不同数量的头。重点看第七行（交叉了下）后面的部分表示，第i个氨基酸后一个氨基酸的位置与第j个氨基酸后的氨基酸的位置如果相差不远的话，那么相似度就大（因此就加一个负号）。

  1. IP的意思是指，所有的变化都不会影响蛋白质的真实结构，第7行公式有一个相减，第11行也有一个加完之后的逆变换。

3.4.4 Backbone update

S0(3)主干变换预测，前三个代表旋转，后面代表平移。

3.5 主损失函数

主损失函数为FAPE（当然这仅是一部分比较主要的损失函数，权重较大，完整的损失函数还有其他算法建议看附件），通俗来讲指的是预测灰色和绿色相差距离，越小越好。

这里很简单每次固定一个R,t，比较其他所有位置的xi和xj的偏离，再固定下一个R,t，继续算，直到所有的加起来。

4. Experiment

T1024(n = 87 protein domains)， T1064(n = 2,261 protein chains)，对于简单结构的蛋白质仅用40左右的块就已经可以预测的很好，对于复杂结构的蛋白质，随着深度越深，预测的可以更好。

NoErorr
关注
Alphafold2：Highly accurate protein structure prediction with AlphaFold
MOL
11-28 1021
Alphafold2：Highly accurate protein structure prediction with AlphaFold
AlphaFold2: Highly accurate protein structure prediction with AlphaFold笔记
huiqiong_wang的博客
05-24 533
AlphaFold2: Highly accurate protein structure prediction with AlphaFold摘要整体架构编码器解码器训练 笔记：https://www.bilibili.com/video/BV1oR4y1K7Xr/?spm_id_from=333.788 DeepMind 2021年7月的发表在nature上的工作。同一天，University of Washington 发表了RoseTTAFold 并登在了8月的science的封面。 摘要 Alpha
【论文分享】AF2:Highly accurate protein structure prediction with AlphaFold
zoetu
12-13 1314
以AlphaFold的论文原文“Highly accurate protein structure prediction with AlphaFold”为主题，结合openfold，esmfold等多个结构预测算法，进行蛋白质三维结构预测的算法细节以及模型训练过程。
论文笔记：Highly accurate protein structure prediction with AlphaFold (AlphaFold 2 & appendix)
qq_40206371的博客
07-25 1693
注：这篇Nature的论文，如果光看正文，没法理解，需要结合它的补充材料一起看同时这篇文章看得太吃力了QAQ，如果有说的不对的地方欢迎指正 Transformer部分（也就是这里的encoder）只起到不同元素（氨基酸）之间信息整合的作用，真正信息的提炼部分，是在decoder部分实现的 大体流程和1.2.2 类似，区别在于，这里是按列来进行self-attention（同一个位置的氨基酸在不同蛋白质之中的权重）（两个transition是一样的）这个就是一个MLP 注意：由于出边入边模
alphafold2_jax预测蛋白质三维结构的深度学习模型
qq_27815483的博客
06-24 895
AlphaFold2是一个用于预测蛋白质三维结构的深度学习模型，包含算法模型结构介绍、算法原理、环境配置等
【实用教程】使用AlphaFold2进行蛋白质结构在线预测
热门推荐
Eumenidus的博客
03-20 10万+
使用Colab进行简单快速的AlphaFold2在线的蛋白质三维结构预测
AlphaFold2预测结构能否直接用于虚拟筛选？
MurphyStar的博客
01-18 1156
虽然AlphaFold2能够预测出较为精确的蛋白骨架结构，但将其直接作为蛋白受体结构进行分子对接结果并不十分理想。但是，通过去除AlphaFold2预测结构中的低置信区域或使用柔性对接方法针对关键侧链添加柔性等，有助于改善对接结果。AlphaFold2预测结构相较于 apo 结构做对接更准确。
AI+Science：基于飞桨的AlphaFold2，带你入门蛋白质结构预测
PaddlePaddle
02-08 781
1958年F.H.C. 克里克提出了生物学中重要的中心法则，DNA->RNA->蛋白质，中心法则说明，DNA可以转录形成RNA，RNA再翻译成一个个氨基酸，最后组合形成蛋白质。...
DEEPCON: protein contact prediction using dilated convolutional neural networks with dropout
weixin_42038527的博客
12-09 4万+
今天真的要开始正式进入科研状态了，之前一直都进入失败，咳！，那就先来看一篇相关领域的论文吧 —————————————————————————————————————————————— 题目：DEEPCON: protein contact prediction using dilated convolutional neural networks with dropout doi: 10.1093/bioinformatics/btz593 ...
AlphaFold2论文及其补充文档
10-05
Paper Name：AlphaFold2: Highly accurate protein structure prediction with AlphaFold Author：DeepMind的那群人 Author Affiliation：DeepMind Citation Rate：14694 Abstract：蛋白质结构预测：给定某一个...
蛋白质结构预测方案总结
herosunly的博客
01-12 1万+
1. 方案一 1.1 赛题分析 1.2 算法方案介绍 1.2.1 Transformer模型 1.2.2 Amino acid - One-Hot Encoding 1.2.3 Amino acid - Embedding 1.2.4 标签输出层的设计 1.2.5 加深加大 1.2.6 实验结果 1.3 优化思路 2. 方案二 2.1 算法方案解析 2.1.1 问题解析 2.1.2 问题背景 2.1.3 解决方案介绍 2.1.4 特征提取 2.1.5 建模过程 2.1.6 最终模型框架 2.2 下阶段优化思
零售业的数字化转型与消费者体验升级
weixin_58820787的博客
09-24 601
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
音频3A——初步了解音频3A
山河君的分享博客
09-23 1434
在日常的音视频通话过程中，说话的双端往往会面对比较复杂的场景，比如：环境存在较大的噪声，扬声器需要开启外放导致麦克风重新采集到，麦克风固定而人物需要走来走去等等的场景。而为了面对这些复杂的场景，音频通话不得不引入算法对于声音进行预处理，再进行发送给远端。而3A是对于音视预处理的三种算法的统称。AEC（Acoustic Echo Cancellation）：声学回声消除AGC (Automatic Gain Control)：自动增益控制。
【LLM论文日更】| 俄罗斯套娃嵌入模型
qq_59084968的博客
09-22 1079
适应性图像检索也达到了效率和精度的权衡，16维度做粗排，2048维度做精排的准确率已经和直接使用2048维度做排序的精度还高，但计算量大幅减小。：为了提高效率，MRL采用了权重绑定技术，即所有线性分类器的权重相同，从而减少内存成本。每个嵌入的前几个维度是一个信息丰富的低维向量，随着维度的增加，表示逐渐变得粗糙。本文将MRL/MRL-E模型与单独训练的低维表征（FF），SVD分解，子网络[2]方法进行了比较。16-32-64-128-256-2048 对前200-100-50-25-10个样本的。
UIKit-Camera
qq_43535469的博客
09-23 234
负责将AVCaptureDevice 转换为输入流，方便captureSession捕捉。
Her来了，OpenAI正式发布高级语音模式
最新发布
shadowcz007的博客
09-25 168
OpenAI宣布将Advanced Voice Mode（AVM）扩展到更多付费用户，包括ChatGPT的Plus和Teams用户。该功能旨在使ChatGPT的语音交互更加自然，并新增五种新声音和改进的口音识别能力。虽然Sky声音因法律争议被移除，但AVM的整体设计和性能得到了提升。新版本不仅能在用户打断时立即停止回答，还能根据用户语音中的情感调整响应。此外，视频和屏幕共享功能暂未推出。AVM目前...
"基于数字数据的股市预测研究：MATLAB股票价格走势预测
Stock price prediction is a crucial aspect of financial market analysis, as accurate forecasts can help investors make informed decisions and mitigate risks. In this study, we focus on using numerical...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值