论文笔记：E(n) Equivariant Graph Neural Networks

最新推荐文章于 2024-06-09 09:34:57 发布
最新推荐文章于 2024-06-09 09:34:57 发布
阅读量5.8k 收藏 30
点赞数 11
分类专栏： 论文笔记 文章标签： 机器学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/125514951
版权

0 介绍

        本文介绍了一种新模型来学习与旋转、平移、反射和排列等变的图神经网络，称为 E(n)-等变图神经网络 (EGNN)。

         与现有方法相比，EGNN不需要在中间层中计算昂贵的高阶表示，同时仍能获得有竞争力或更好的性能。 此外，虽然现有方法仅限于 3 维空间的等变性，但EGNN很容易扩展到更高维空间。 

1  introduction

        尽管深度学习在很大程度上取代了手工制作的特征，但许多进步严重依赖于深度神经网络中的归纳偏差。（inductive bias）

         将神经网络限制为和研究问题相关函数的一种有效方法是，利用问题的对称性、变换等变性（equivariance），通过研究某个对称组来简化当前问题的计算。【eg，CNN的卷积是等变形、池化是近似不变性；GNN的点的排列顺序是等变性（不同点的排列对应不同的邻接矩阵，但是最终这张graph表达的信息是一样的）】

        许多问题都表现出 3D 平移和旋转对称性。论文中将这些对称操作的集合记为SE(3) ，如果包含反射，那么集合记为 E(3)。 通常希望对这些任务的预测相对于 E(3) 变换是等变的或不变的。、

        最近，已经提出了等变E(3) 或 SE(3) 的各种形式和方法。 其中许多工作在研究中间网络层的高阶表示类型方面实现了创新。 然而，这些高阶表示的转换需要计算成本高昂的系数或近似值。 此外，在实践中，对于许多类型的数据，输入和输出仅限于标量值（例如温度或能量，在文献中称为 type-0）和 3d 矢量（例如速度或动量，在文献中称为 type-1）。

        这篇paper提出了一种新的架构，它是平移、旋转和反射等变 (E(n))，以及关于输入点集的置换等变。 模型比以前的方法更简单，同时模型中的等变性不限于 3 维空间，并且可以扩展到更大的维空间，而不会显着增加计算量。

2 背景知识

2.1 等变性

定义：

        

通俗地说，先平移/旋转/排列再映射，和先映射再平移/旋转/排列 效果是一样的

2.2 GNN

GNN笔记：消息传播模型_UQI-LIUWJ的博客-CSDN博客

3 EGNN

  • 考虑一张图\mathcal{G}=(\mathcal{V,E}),其中v_i \in \mathcal{V}, e_{ij} \in \mathcal{E},
  • 每一个点的特征embedding是h_i \in R^{nf} (和2.2的GNN一样）[这个nf指的是node feature,并不是n乘f]【不带方向的物理信息，标量】
  • 但在此基础上，EGNN对每个点加了一个n维的坐标x_i \in R^n【带方向的几何信息，矢量】

GNN将保持与这些坐标 xi 旋转和平移的等变性，并且它还将以与 GNN 相同的方式保持与节点集 V 上排列的等变性。

 用公式表示第l层EGNN，Equivariant Graph Convolutional Layer (EGCL)有：h^{l+1},x^{l+1}=EGCL[h^l,x^l,\mathcal{E}]

和传统GNN不一样的地方用绿色框框画出来了

  • 在等式3中，EGNN增加了两个坐标之间的距离||x_i^l-x_j^l||^2作为参数
  • 在等式 4 中，按照论文的意思，xi的位置更新为径向的矢量场，由所有(x_i-x_i)_{\forall j}共同决定【这里我不是很理解，为什么会是径向的，因为不同的xi，它的方向是不一样的，(x_i-x_i)_{\forall j}作为向量减法，不一定沿着径向呀】
    • 等式4每一项的加权系数是通过函数\phi_x:R^{nf} \rightarrow R^1 计算的
    • 这里的C=1/(M-1)
  • ——>等式3&4可以保证等变性
  • ——>与此同时，另外一个区别是，这边考虑了所有(i,j)对，而不仅仅是邻居点之间的pair，也就是说，embedding  mij可以包含全图的信息

 

 

 3.1 平移等变性

g是一个平移向量，x（type-1向量）是平移等变性（equivariant），h（type-0向量）是平移不变性（invariant）

 ——>不难发现，EGCL的组合也是具有等变性的

3.2 拓展EGNN

这里对前面的EGNN进行轻微修改，以便我们明确地跟踪粒子的动量。

这不仅可以用于获得粒子在每一层的速度估计值，还可以将动量引入进来

用公式表示，就是将

 表示成

 h^{l+1},x^{l+1},v^{l+1}=EGCL[h^l,x^l,v^{init},\mathcal{E}]'

如果v^{init}为0，那么等式4和等式7表达的是一个意思

3.3 得到点的信息

在某些情况下，我们可能并不总是得到一个邻接矩阵。 在这些情况下，我们可以假设一个全连接图，其中所有节点相互交换消息。

这种全连接方法可能无法很好地扩展到大图，我们希望只需考虑邻居节点N(i)的点之间的交互。

论文这里使用如下的方式

其中如果(i,j)有连边，那么eij为1，否则为0

论文通过一个函数来近似eij :\phi_{inf}:R^{nf} \rightarrow [0,1]^1（线性层+sigmoid激活函数，输入边embedding，输出边value的soft estimation）

 

UQI-LIUWJ
关注
  • 11
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
egnn-pytorch：在Pytorch中实现E（n）-等价图神经网络
02-27
EGNN-Pytorch（WIP） 中的实现。 最终可用于Alphafold2复制。 安装 $ pip install egnn-pytorch 用法 import torch from egnn_pytorch import EGNN layer1 = EGNN ( dim = 512 ) layer2 = EGNN ( dim = 512 ) feats = torch . randn ( 1 , 16 , 512 ) coors = torch . randn ( 1 , 16 , 3 ) feats , coors = layer1 ( feats , coors ) feats , coors = layer2 ( feats , coors ) # (1, 16, 512), (1, 16, 3) 带边 import torch from egnn_pytorch impo
E(n) Equivariant Graph Neural Networks
04-13
E(n) Equivariant Graph Neural Networks
药物设计中的SE3等变图神经网络层- EGNN 解析
wufeil7的博客
06-04 1135
此部分内容介绍了常用在药物设计深度学习中的SE3等变网络层 EGNN。主要对EGNN的代码逻辑、模块进行解析，并介绍其中的SE3等变在模型中的原理。
图神经网络与分子表征：6. EGNN
frank_haha的博客
01-15 1306
很多人在完成升学考试后便很少参与公式推导这种数学锻炼，导致大家对数学公式避之不及。事实上，很多经典的神经网络框架正是基于简单、直观的数学推导搭建的。
Equivariant Graph Neural Networks
银晗的学习博客
06-29 868
尽管深度学习在很大程度上取代了手工制作的特征，但许多进步严重依赖于深度神经网络中的归纳偏差。将神经网络限制为和研究问题相关函数的一种有效方法是，利用问题的对称性、变换等变性（equivariance），通过研究某个对称组来简化当前问题的计算。最近，已经提出了等变E(3) 或 SE(3) 的各种形式和方法。其中许多工作在研究中间网络层的高阶表示类型方面实现了创新。然而，这些高阶表示的转换需要计算成本高昂的系数或近似值。
等变神经网络 Equivariant Neural Networks （一）基础知识
qq_31448607的博客
05-31 2049
等变神经网络
E（n）等变图神经网络
stranger_Ss的博客
04-22 4485
E(n) Equivariant Graph Neural Networks (EGNNs) 一种新模型学习图神经网络，其对旋转、平移、反射、置换等变，不需要在中间层中计算昂贵的高阶表示。尽管现有方法仅限于三维空间上的等变，但我们的模型很容易扩展到高维空间。我们的方法在动态系统建模、图形自动编码器中的表示学习和预测分子性质方面的有效性。 深度学习许多进步在很大程度上依赖于深度神经网络中的诱导/归纳偏差（inductive biases）.将神经网络限制为相关函数的一种有效方法是利用问题的对称性，通过对来
#今日论文推荐#训练数据减少多达三个数量级，等变图神经网络在长时间尺度上进行高保真分子动力学模拟
w1hsxn的博客
05-10 226
#今日论文推荐#训练数据减少多达三个数量级，等变图神经网络在长时间尺度上进行高保真分子动力学模拟 分子动力学（MD）模拟是在能源存储、催化和生物过程等领域进行计算发现不可或缺的工具。在实践中，第一性原理方法的不利计算尺度将模拟限制在较短的时间尺度和较少的原子数。基于机器学习，特别是神经网络的原子间势能灵活模型的构建，有望从从头算参考计算中学习高保真势能，同时保留有利的计算效率。 近日，来自哈佛大学的研究团队提出了神经等变原子间势 (NequIP)，这是一种 E(3) 等变图神经网络方法，用于从分子动力学模
Group Equivariant Convolutional Networks
heiha1232的博客
04-08 1285
Group Equivariant Convolutional Networks Cohen T, Welling M. Group equivariant convolutional networks[C]//International conference on machine learning. 2016: 2990-2999. https://github.com/tscohen/gcon...
Graph Neural Networks图神经网络(一)
Joselynzhao
04-12 2758
Author: Nihai V. Nayak (March 2020) Graph Neural Networks图神经网络01 Introduction02 Basics03 Learning on Graphs03.1 Formal Definition04 Graph Convolutional Networks （GCN）04.1 Aggregate04.2 Combine05 Gr...
Equivariant-Neural-Nets
03-17
等变网将对称性纳入深度动力学模型以提高通用性纸： Wang Rui *，Robin Walters *，Rose Yu将，ICLR 2021抽象的： 最近的工作表明，相对于数值求解器，深度学习可以加快物理动力学的预测。 但是，有限的物理精度以及...
awesome-equivariant-network:等变神经网络的论文清单
03-07
**Group Equivariant Convolutional Networks** Taco S. Cohen, Max Welling ICML 2016 [ paper ](https://arxiv.org/pdf/1602.07576.pdf) 致谢：我要感谢Maurice Weiler，Fabian Fuchs，Tess Smidt，Rui Wang，...
Equivariant-Discrete-Flows:等变流层
03-21
等变离散流（Equivariant Discrete Flows）是一种深度学习模型，它结合了等变性和流模型的概念。在机器学习和计算机视觉领域，等变性是指模型对输入数据的某些变换保持不变的特性，比如旋转、平移或反射。这种特性...
e2cnn：用于Pytorch的E（2）-等效CNNs库
02-27
通用E（2）-等变可控CNN | | | e2cnn是用于等深度深度学习的扩展。 等变神经网络在输入变换的情况下保证了其特征空间的指定变换行为。 例如，经典卷积神经网络（ CNN ）在设计上与其输入的翻译相等。 这意味着图像的...
Edge-Labeling Graph Neural Network for Few-shot Learning--CVPR2019--论文笔记
mei1318874404的博客
02-20 1864
记录一下自己看的文章，和一些自己的见解。 这次看的文章是《基于边标签图神经网络的少样本学习》 Abstract 在本文之中，我们提出了一个新的基于边标签的图神经网络（EGNN），适用于一些少样本学习（few-shot learning），以往的图卷积神经网络只是基于节点标签的框架，然而提出的EGNN通过利用类内的相似性和类间的不相似行不断地更新迭代，不仅仅只是学习预测节点标签，而且会预测变得标签。...
探索E(n)群等变图神经网络的潜力：EGNN项目深度解析
最新发布
gitblog_00002的博客
06-09 243
探索E(n)群等变图神经网络的潜力：EGNN项目深度解析 项目地址:https://gitcode.com/vgsatorras/egnn 1、项目介绍 E(n) Equivariant Graph Neural Networks（EGNN）是一个基于PyTorch的开源实现，由Victor Garcia Satorras、Emiel Hogeboom和Max Welling共同提出。该项目旨在解...
推荐：EGNN-PyTorch - 高效能的等变图神经网络库
gitblog_00001的博客
06-09 577
推荐：EGNN-PyTorch - 高效能的等变图神经网络库 项目地址:https://gitcode.com/lucidrains/egnn-pytorch 在深度学习领域，对称性和群论性质的建模是解决复杂问题的关键。EGNN（E(n)-Equivariant Graph Neural Networks）正是这样一个强大的工具，它利用PyTorch框架实现了高效的图神经网络模型，适用于处理各种...
FAENet | 面向材料建模的EGNN模型
XANTAR____RES的博客
01-15 369
本文提出了一种可以替代传统summetry-preserving的GNN模型的方法，即FAENet，其基于FA精细地设计data augmentation方法来保留symmetries，使得GNN模型设计更加灵活化，并且在多个数据集上表现优于SOTA方法。FAENet的idea思路主要基于Puny et al.(2022)等人提出的框架Frame averaging（FA）结合代数中的群论、群表示论等知识，推得知其可以使GNN在设计时变得更加灵活，不需要刻意为保留等变性质而设计。
pytorch 图神经网络 安装
10-22
要在PyTorch中安装图神经网络，需要按照以下步骤进行操作： 1. 首先，确保你已经安装了适当的Python版本和PyTorch。图神经网络是一个扩展库，需要先安装PyTorch，可以通过使用Anaconda或pip包管理器来安装。 2. 安装PyTorch的方法取决于你使用的操作系统和硬件平台。你可以在PyTorch官方网站上找到适合你平台的具体安装指南。 3. 安装PyTorch之后，你可以通过不同的渠道获取图神经网络的扩展包，例如GitHub等。一种比较简单的方法是使用pip命令来安装对应的扩展包，如`pip install dgl`。这将安装Deep Graph Library (DGL)，这是一个支持图神经网络操作的库。 4. 安装完后，你可以在代码中导入DGL模块，并使用其中的图神经网络函数来构建和训练模型。在导入DGL后，你就可以使用其中提供的图结构和图算法来处理图数据。 5. 最后，你需要根据具体的任务和数据集定义你的图神经网络模型，并进行训练和评估。这可能涉及到定义图结构、节点特征、边特征以及模型的隐藏层和输出层等等。 总结起来，安装PyTorch图神经网络需要确保PyTorch已经安装并正常运作。然后，你可以通过pip安装DGL扩展包，这将为你提供在PyTorch中构建和训练图神经网络的功能。最后，在代码中导入DGL模块，你就可以开始使用图神经网络构建和训练模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值