Equivariant Graph Neural Networks

已于 2023-07-14 16:59:52 修改
阅读量1.3k 收藏 4
点赞数
分类专栏： GNN 文章标签： 深度学习
于 2023-06-29 14:33:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RandyHan/article/details/131442124
版权

论文链接：https://arxiv.org/abs/2102.09844

  • 一种新模型来学习与旋转、平移、反射和排列等变的图神经网络，称为 E(n)-等变图神经网络 (EGNN)

尽管深度学习在很大程度上取代了手工制作的特征，但许多进步严重依赖于深度神经网络中的归纳偏差。（inductive bias）

将神经网络限制为和研究问题相关函数的一种有效方法是，利用问题的对称性、变换等变性（equivariance），通过研究某个对称组来简化当前问题的计算。

  • CNN的卷积是等变形、池化是近似不变性；
  • GNN的点的排列顺序是等变性（不同点的排列对应不同的邻接矩阵，但是最终这张graph表达的信息是一样的）

许多问题都表现出 3D 平移和旋转对称性

  • 这些对称操作的集合记为SE(3) ，如果包含反射，那么集合记为 E(3)。 通常希望对这些任务的预测相对于 E(3) 变换是等变的或不变的。

最近，已经提出了等变E(3) 或 SE(3) 的各种形式和方法。 其中许多工作在研究中间网络层的高阶表示类型方面实现了创新。 然而，这些高阶表示的转换需要计算成本高昂的系数或近似值。 此外，在实践中，对于许多类型的数据，输入和输出仅限于标量值（例如温度或能量，在文献中称为 type-0）和 3D矢量（例如速度或动量，在文献中称为 type-1）

  • 它是平移、旋转和反射等变 (E(n))，以及关于输入点集的置换等变。 模型比以前的方法更简单，同时模型中的等变性不限于 3 维空间，并且可以扩展到更大的维空间，而不会显着增加计算量。

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

等变性：先平移/旋转/排列再映射，和先映射再平移/旋转/排列 效果是一样的

论文中探索了三种等变性：

  1. Translation equivariance
  2. Rotation and relection equivariance
  3. Permutation equivariance.
    • 置换同变性：在这里插入图片描述
    • 置换不变性：在这里插入图片描述
    • 简单来说，置换不变性使得输出与输入顺序无关，而置换同变性使得输出顺序与输入顺序对应。
    • 显然置换同变函数后面接一个置换不变的函数，得到的函数还是置换不变的。
    • 什么时候需要这两类函数？因为图天然具有无序性，当我们关心节点特征时，我们希望改变节点标号时，节点特征不变，或者说节点特征的排序要根据节点编号做出重排，这时候就需要置换同变性；当我们关心图特征时，希望改变节点标号不影响图特征，就需要置换不变性。
    • GNN 的置换同变性称为全局同变性（Global Equivariance），将聚合算子的置换不变性称为局部不变性（Local Invariance），显然，局部不变性诱导全局同变性。
      • 聚合算子的置换不变性对于全局的置换同变性来说，是非必要的
      • 直接定义全部同变 GNN 仅有理论价值，无实际价值
    • 那么有没有办法设计新的不满足不变性的聚合算子，使得 GNN 整体上仍具有同变性，但是具有更强的表达能力呢？答案是肯定的，只需引入局部同变性（Local Equivariance），即
    • 局部同变性：相同邻域结构的节点具有相同的表示
      在这里插入图片描述
      在这里插入图片描述
  • 三大关键点：消息函数、更新函数和聚合函数 ， 这决定了GNN的表达能力
    在这里插入图片描述

参考：https://www.cnblogs.com/hilbert9221/p/14443747.html

消息传递框架 MPNN

在这里插入图片描述
在这里插入图片描述

GCN & GAT & GSAGE

https://zhuanlan.zhihu.com/p/412296850

等变神经网络综述

  • 在物理和化学领域，很多问题需要去处理带有几何特征的图。

例如，化学小分子和蛋白质都可以建模成一个有原子和其化学键关系组成的几何图。在这个图中，除了包含原子的一些内在特征以外，我们还需要考虑到每个原子在空间的三维坐标这一几何特征。而在物理学的多体问题中，每个粒子的几何特征则包括坐标，速度，旋转等。

不同于一般特征，这些几何特征往往都具备着一些对称性和等变性。正因为如此，基于对对称性的建模，大量基于图神经网络的改进模型在近年来被提出。这一类模型，因为克服了传统图神经网络无法很好处理这类具有等变对称性质的特征的缺点，被统称为等变图神经网络。

例如，在预测分子的能量时，我们需要这个预测对于输入的几何特征是不变的，而在分子动力学应用中，我们则需要预测的结果和输入的几何特征是等变的。

通用框架

在这里插入图片描述

在这里插入图片描述

基于不可约表示信息的模型

这类模型基于表示论中关于紧群的线性表示可以拆解为一系列的不可约表示的直积这一理论。从而在 SE(3) 群中构建满足等变性质的消息模型。

  • 例如，在 TFN 中：
    在这里插入图片描述
    有大量的工作基于 TFN 结构做了相应的扩展，例如加入 Attention 机制， 引入非线性的 Clebsch-Gordan 系数等。但是这类方法计算复杂度都较高，且不可约表示仅仅适用于特定的群。这约束了这类模型的表达能力。

基于正则表示信息的模型

在这里插入图片描述
LieTransformer 基于此思想，引入了自注意力机制来进一步提高模型的性能。基于李群正则表示的模型在群的选取上更加灵活，但是由于要进行离散化和采样，需要在效率和性能之间做出权衡。同时，以上的更新只考虑了标量信息 h，但难以直接推广到对几何信息 x 的更新，除非综合哈密顿网络等工作中的更新方法。

E（n）等变图神经网络
stranger_Ss的博客
04-22 5382
E(n) Equivariant Graph Neural Networks (EGNNs) 一种新模型学习图神经网络，其对旋转、平移、反射、置换等变，不需要在中间层中计算昂贵的高阶表示。尽管现有方法仅限于三维空间上的等变，但我们的模型很容易扩展到高维空间。我们的方法在动态系统建模、图形自动编码器中的表示学习和预测分子性质方面的有效性。 深度学习许多进步在很大程度上依赖于深度神经网络中的诱导/归纳偏差（inductive biases）.将神经网络限制为相关函数的一种有效方法是利用问题的对称性，通过对来
Paper Notes: A Comprehensive Survey on Graph Neural Networks
HotChoc的博客
03-05 1246
A Comprehensive Survey on Graph Neural Networks LINK: https://arxiv.org/abs/1901.00596 CLASSIFICATION: GNN, SURVEY YEAR: 2019 FROM: ArXivID:1901.00596 WHAT PROBLEM TO SOLVE: Existing surveys...
E(n) Equivariant Graph Neural Networks
04-13
E(n) Equivariant Graph Neural Networks
基于SE(3)-等变神经网络的晶体结构预测：理论推导+PyTorch实战+行业案例
燃灯工作室
03-17 827
晶体结构满足SE(3)对称性（旋转+平移），传统CNN的平移不变性无法处理旋转对称性。：传统DFT计算LiCoO₂结构需要10+小时。避免使用\begin{equation}等环境。：构建等变GNN预测晶格参数与Li扩散路径。：结合等变网络与主动学习。
论文笔记：E(n) Equivariant Graph Neural Networks
qq_40206371的博客
06-29 9403
本文介绍了一种新模型来学习与旋转、平移、反射和排列等变的图神经网络，称为 E(n)-等变图神经网络 (EGNN)。 与现有方法相比，EGNN不需要在中间层中计算昂贵的高阶表示，同时仍能获得有竞争力或更好的性能。 此外，虽然现有方法仅限于 3 维空间的等变性，但EGNN很容易扩展到更高维空间。 尽管深度学习在很大程度上取代了手工制作的特征，但许多进步严重依赖于深度神经网络中的归纳偏差。（inductive bias） 将神经网络限制为和研究问题相关函数的一种有效
【分子材料发现】——EGNN：E(n) Equivariant Graph Neural Networks（论文简述）
m0_62339601的博客
11-19 1117
这篇论文介绍了一种新的模型，用于学习对旋转、平移、反射和排列具有等变性的图神经网络，称为E(n)-等变图神经网络（EGNN）。与现有方法相比，我们的工作不需要在中间层使用计算成本高昂的高阶表示，同时仍然能够达到竞争性或更好的性能。此外，与现有方法仅限于三维空间的等变性不同，我们的模型可以轻松扩展到更高维度的空间。我们通过动态系统建模、图自编码器中的表示学习以及预测分子属性来展示我们方法的有效性。
E(n) Equivariant Graph Neural Networks 项目教程
gitblog_01030的博客
09-15 889
E(n) Equivariant Graph Neural Networks 项目教程 egnn 项目地址: https://gitcode.com/gh_mirrors/eg/egnn ...
等变神经网络 Equivariant Neural Networks （一）基础知识
qq_31448607的博客
05-31 4956
等变神经网络
Cooperative graph neural networks（四）Cooperative Graph Neural Networks
sinat_41942180的博客
10-15 928
引用次数：9引用格式：Finkelshtein B, Huang X, Bronstein M, et al. Cooperative graph neural networks[J]. arXiv preprint arXiv:2310.01267, 2023.
Cooperative Graph Neural Networks（一）摘要和Introduction
sinat_41942180的博客
10-15 954
讲述了一种新的图神经网络（Graph Neural Network，GNN）训练框架，称为Cooperative Graph Neural Networks (CO-GNNs)。GNN是一种在图上进行机器学习的架构，通过一系列不变变换对输入图的节点表示进行迭代计算。（这句话介绍了图神经网络的基本概念。在每一层，每个节点状态都基于来自其邻居的消息的聚合进行更新。（这句话指出了现有的GNN模型通常采用的消息传递机制。在这项工作中，我们提出了一种新的GNN训练框架，
探索E(n)群等变图神经网络的潜力：EGNN项目深度解析
gitblog_00002的博客
06-09 446
探索E(n)群等变图神经网络的潜力：EGNN项目深度解析 项目地址:https://gitcode.com/gh_mirrors/eg/egnn 1、项目介绍 E(n) Equivariant Graph Neural Networks（EGNN）是一个基于PyTorch的开源实现，由Victor Garcia Satorras、Emiel Hogeboom和Max Welling共同提出。该项目...
En-transformer：E（n）-Transformer的实现，将Welling的E（n）-等变图神经网络的思想扩展到关注
03-03
E（n）-等变变压器（wip） E（n）-等变变压器的实现，并引人关注地扩展了Welling的的思想。 安装 $ pip install En-transformer 用法 import torch from en_transformer import EnTransformer model = EnTransformer ( dim = 512 , depth = 4 , dim_head = 64 , heads = 8 , edge_dim = 4 , fourier_features = 2 ) feats = torch . randn ( 1 , 16 , 512 ) coors = torch . randn ( 1 , 16 , 3 ) edges = torch . randn ( 1 , 16 , 16 , 4 ) fe
GrouPy:群等变卷积神经网络
05-02
注意：如果您正在寻找PyTorch实现，请查看Jorn Peters和Adam Bielski（ ）的拉取请求。 格鲁比 GrouPy是一个Python库，可在Chainer和TensorFlow中实现组等变卷积神经网络 ，并支持涉及变换组的其他数值计算。 GrouPy由以下模块组成： garray：转换变量数组（“组元素”） gfunc：一组转换上的函数数组 gconv：在组等变卷积网络中使用的组卷积 garray和gfunc模块用于快速预计算阶段，并在CPU上运行，而gconv用于训练和测试神经网络，并在GPU上运行。 我们主要使用Chainer实现（请参阅），但是可以使用经过单元测试的tensorflow实现，并且编写了代码，因此相对容易地移植到theano，torch或其他框架。 代码的大多数复杂性都在预计算步骤中，该步骤会生成用于转换过滤器的索引，并且每个深度学习框架都
探索万物关联的奥秘：E(n) 等变图神经网络深度解读
gitblog_00042的博客
09-15 769
探索万物关联的奥秘：E(n) 等变图神经网络深度解读 egnn 项目地址: https://gitcode.com/gh_mirrors/eg/egnn 在复杂的数据结构中...
推荐：EGNN-PyTorch - 高效能的等变图神经网络库
gitblog_00001的博客
06-09 1001
推荐：EGNN-PyTorch - 高效能的等变图神经网络库 项目地址:https://gitcode.com/gh_mirrors/eg/egnn-pytorch 在深度学习领域，对称性和群论性质的建模是解决复杂问题的关键。EGNN（E(n)-Equivariant Graph Neural Networks）正是这样一个强大的工具，它利用PyTorch框架实现了高效的图神经网络模型，适用于处...
E(3)-equivariant graph neural networks for data-efficient and accurate interatomic potentials
qq_43901463的博客
12-15 1242
在原子系统中，物理性质在一组原子的平移、反射和旋转下具有明确定义的变换性质例子：如果一个分子在空间中旋转，它的原子偶极子或力的向量也会通过等变变换相应地旋转等变神经网络能够更一般地表示物理系统的张量性质和张量运算（例如向量加法、点积和交叉积）形式上，一个函数fX↦YfX↦Y对于一个作用于XXX和YYY的群GGG是等变的如果：DYgfxfDXgx∀g∈G∀x∈XDY​gfxfDX​gx∀g∈G。
Equivariant GNN Networks（等变图神经网络）
Drug discovery
02-04 555
旋转不等变、很难扩展到大的蛋白质口袋。
等变神经网络（equivariant neural network）相关论文
2301_78829506的博客
08-01 929
等变神经网络（equivariant neural network）相关论文
#今日论文推荐#训练数据减少多达三个数量级，等变图神经网络在长时间尺度上进行高保真分子动力学模拟
w1hsxn的博客
05-10 314
#今日论文推荐#训练数据减少多达三个数量级，等变图神经网络在长时间尺度上进行高保真分子动力学模拟 分子动力学（MD）模拟是在能源存储、催化和生物过程等领域进行计算发现不可或缺的工具。在实践中，第一性原理方法的不利计算尺度将模拟限制在较短的时间尺度和较少的原子数。基于机器学习，特别是神经网络的原子间势能灵活模型的构建，有望从从头算参考计算中学习高保真势能，同时保留有利的计算效率。 近日，来自哈佛大学的研究团队提出了神经等变原子间势 (NequIP)，这是一种 E(3) 等变图神经网络方法，用于从分子动力学模
ComENet
最新发布
03-20
### ComENet 的背景和技术细节 #### 什么是 ComENet？ ComENet 是一种基于几何图神经网络（Geometric Graph Neural Networks, GGNN）的方法，专门用于分子性质预测和其他涉及三维空间结构的任务。它继承了等变性图神经网络（Equivariant Graph Neural Networks）的思想，能够有效捕捉原子间的方向性和距离关系[^2]。 #### 技术背景 ComENet 的核心在于通过引入方向感知机制来增强模型的表现力。相比于传统的不变量图神经网络（Invariant GNNs），后者仅能捕获节点特征而不关注边的方向信息，ComENet 利用了矢量耦合技术，使得模型能够在保持旋转和平移等变性的前提下学习到更丰富的几何特性[^3]。 以下是 ComENet 的一些关键技术特点： 1. **等变性设计** ComENet 使用球谐函数（Spherical Harmonics）编码原子间的相对位置向量，并将其嵌入到消息传递过程中。这种设计确保了模型对于输入数据的旋转操作具有稳定的响应行为。 2. **高效的消息传递框架** 基于 MPNN（Message Passing Neural Network）架构扩展而来，ComENet 提供了一种新的消息更新公式，允许在每次迭代中同时传播标量和张量特征。这不仅提高了计算效率，也增强了表示能力[^4]。 3. **可解释性强** 不同于某些端到端方法可能带来的黑箱效应，ComENet 明确分离了几何建模与化学属性预测两个阶段，从而便于研究人员理解每一步骤的作用及其贡献。 #### 应用场景 由于其出色的性能表现及良好的理论基础支持，ComENet 已经成功应用于多个领域，包括但不限于药物发现中的虚拟筛选、材料科学里的晶体稳定性评估等方面。特别是在处理那些高度依赖精确空间排列的信息时，比如蛋白质折叠或者纳米管生长模拟等问题上展现了显著优势。 ```python import torch from e3nn import o3 class ComENetLayer(torch.nn.Module): def __init__(self, irreps_in, irreps_out): super().__init__() self.linear = o3.Linear(irreps_in, irreps_out) def forward(self, features, edge_attr): msg = self.linear(features) * edge_attr # Element-wise multiplication with directional encoding return msg.sum(dim=-2) # Aggregate messages across neighbors # Example usage of a single layer within the network architecture. layer = ComENetLayer('8x0e + 8x1o', '8x0e') features = torch.randn(10, 16) # Input node features (batch size=10) edge_attr = torch.randn(10, 5, 9) # Edge attributes including direction vectors encoded as spherical harmonics output = layer(features.unsqueeze(-2), edge_attr) print(output.shape) # Output shape after one message-passing step ``` 上述代码片段展示了如何构建一个简单的 ComENet 层实例并执行前向传播过程。这里我们采用了 E(3)-equivariant neural networks 中实现的操作符来进行高效的张量运算。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值