当我们说起神经网络的等变性，我们在谈论什么？

最新推荐文章于 2024-06-09 09:34:57 发布
最新推荐文章于 2024-06-09 09:34:57 发布
阅读量185 收藏
点赞数 1
文章标签： 神经网络 人工智能 深度学习 机器学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247635384&idx=4&sn=cea72e68223cf9be7c4d3682e8393824&chksm=96e40e38a193872e7128656fb0a4a23f709094661c102e6cdd63765ed74c57c92ad1826eb8d6&scene=126&sessionid=0
版权

在 AI for Science 技术已经颇为成熟的当下，神经网络被大量用于分子结构建模，成为了量子力学模拟、材料发现、药物设计、反应设计等等领域的一种新的范式。

具体而言，这些神经网络往往以分子结构作为输入，预测分子势能、原子受力、分子毒性等等人们关心的性质。

分子结构在本质上是三维欧氏空间的点云，这一输入有别于图像、文本，有着比较强的物理对称性约束。

比如，当分子在真空中平移、旋转，分子的势能、受力也应该满足物理上的对称性。

这对神经网络的架构设计提出了所谓等变性（equivariance）的新要求。

Notebook 上手实践

围绕“神经网络与等变性”这一主题，我们为你带来了本期 Notebook《当我们说起神经网络的等变性，我们在谈论什么》。

在本期 Notebook 中，你可以了解到：

1. 等变性的概念、分子体系中常见的等变性

2. 神经网络与等变性的关系

3. 等变性相关的基础数学概念

4. 等变性在神经网络里的不同实现方式，以及它们的优劣

现在点击下方小程序来开始阅读吧！

Notebook 链接

https://nb.bohrium.dp.tech/detail/1342

👇 关注公众号，和我们一起开源、共建、共享 Notebook。

↓↓ 点击阅读原文直接查看 Notebook

PaperWeekly
关注
卷积神经网络中的平移等变性分析
3D视觉工坊
05-22 283
卷积神经网络（CNN）具有平移等变性的观点在某种程度上深入人心，但很少有人去探寻其原因或者理论根据。这篇文章将对这个问题进行系统地讲解，为后续进一步研究CNN的其他等变性和不变性设计夯实基础。介绍在机器学习中，我们通常关注模型的灵活性。我们希望知道选择的模型实际上能够完成我们想要的任务。例如，神经网络的通用逼近定理使我们相信神经网络可以近似任何所需精度的广泛类别的函数。但完全的灵活性也有缺点。虽然...
GrouPy:群等变卷积神经网络
05-02
注意：如果您正在寻找PyTorch实现，请查看Jorn Peters和Adam Bielski（ ）的拉取请求。 格鲁比 GrouPy是一个Python库，可在Chainer和TensorFlow中实现组等变卷积神经网络 ，并支持涉及变换组的其他数值计算。 GrouPy由以下模块组成： garray：转换变量数组（“组元素”） gfunc：一组转换上的函数数组 gconv：在组等变卷积网络中使用的组卷积 garray和gfunc模块用于快速预计算阶段，并在CPU上运行，而gconv用于训练和测试神经网络，并在GPU上运行。 我们主要使用Chainer实现（请参阅），但是可以使用经过单元测试的tensorflow实现，并且编写了代码，因此相对容易地移植到theano，torch或其他框架。 代码的大多数复杂性都在预计算步骤中，该步骤会生成用于转换过滤器的索引，并且每个深度学习框架都
Equivariant Graph Neural Networks
银晗的学习博客
06-29 1040
尽管深度学习在很大程度上取代了手工制作的特征，但许多进步严重依赖于深度神经网络中的归纳偏差。将神经网络限制为和研究问题相关函数的一种有效方法是，利用问题的对称性、变换等变性（equivariance），通过研究某个对称组来简化当前问题的计算。最近，已经提出了等变E(3) 或 SE(3) 的各种形式和方法。其中许多工作在研究中间网络层的高阶表示类型方面实现了创新。然而，这些高阶表示的转换需要计算成本高昂的系数或近似值。
Equivariant GNN Networks（等变图神经网络）
MOL
02-04 351
旋转不等变、很难扩展到大的蛋白质口袋。
E（n）等变图神经网络
stranger_Ss的博客
04-22 4745
E(n) Equivariant Graph Neural Networks (EGNNs) 一种新模型学习图神经网络，其对旋转、平移、反射、置换等变，不需要在中间层中计算昂贵的高阶表示。尽管现有方法仅限于三维空间上的等变，但我们的模型很容易扩展到高维空间。我们的方法在动态系统建模、图形自动编码器中的表示学习和预测分子性质方面的有效性。 深度学习许多进步在很大程度上依赖于深度神经网络中的诱导/归纳偏差（inductive biases）.将神经网络限制为相关函数的一种有效方法是利用问题的对称性，通过对来
等变神经网络 Equivariant Neural Networks （一）基础知识
qq_31448607的博客
05-31 2926
等变神经网络
基于神经网络的二自由度机械臂应控制_bybgn_神经网络机械_神经网络_机械臂_臂机械
09-10
神经网络作为一种模拟人脑神经元工作原理的计算模型，具有自学习、自适应和非线性映射的能力，这使得它在解决机械臂控制中的非线性、时变性和不确定性问题上具有显著优势。在本项目中，神经网络被用于建立机械臂运动...
免疫RBF神经网络PID控制器在矿井输送机中的应用
07-01
针对如今复杂被控对象大滞后、非线性和时变性的特点,研究把人工免疫算法和RBF神经网络相结合对PID控制器进行参数寻优,应用到矿井输送机上。利用人工免疫算法,无需事先确定隐层结点个数,设计了一种动态的RBF神经网络,...
推荐：EGNN-PyTorch - 高效能的等变图神经网络库
gitblog_00001的博客
06-09 722
推荐：EGNN-PyTorch - 高效能的等变图神经网络库 egnn-pytorchImplementation of E(n)-Equivariant Graph Neural Networks, in Pytorch项目地址:https://gitcode.com/gh_mirrors/eg/egnn-pytorch 在深度学习领域，对称性和群论性质的建模是解决复杂问题的关键。EGNN（...
awesome-equivariant-network:等变神经网络的论文清单
03-07
令人敬畏的等价网络 等变神经网络的论文清单。 工作正在进行中。 可以按照以下格式随意建议相关论文。 **Group Equivariant Convolutional Networks** Taco S. Cohen, Max Welling ICML 2016 [ paper ](https://arxiv.org/pdf/1602.07576.pdf) 致谢：我要感谢Maurice Weiler，Fabian Fuchs，Tess Smidt，Rui Wang，David Pfau，JonasKöhler，Taco Cohen，Gregor Simm，Eri​​k J Bekkers，Jean-Baptiste Cordonnier，David W. Romero，Ivan Sosnovik，Kostas Daniilidis提出纸质建议！ 感谢夏伟豪帮助您进行排版！ 目
等变神经网络（equivariant neural network）相关论文
2301_78829506的博客
08-01 590
等变神经网络（equivariant neural network）相关论文
图神经网络与分子表征：番外——等变术语
frank_haha的博客
01-02 1551
本文重点参考了这篇博客：https://nb.bohrium.dp.tech/detail/1342看论文时经常会遇到 SE3, SO3, O3 等字样，云里雾里，难以理解。本文对这些术语进行集中解释。
最新综述：等变图神经网络
Paper weekly
01-31 2413
©作者 |王春辰单位 |北京邮电大学博士生来源|北邮GAMMA Lab本文旨在介绍近年等变图神经网络的进展，参考于最新的等变图神经网络综述。许多科学问题都需要处理几何图形的数据。不像一般的图数据，空间几何图形呈现平移，旋转和翻转的不变形。研究人员利用了这种特性设计了几何等变图神经网络（GNNs），以更好地表征几何图形的运算和拓扑。基于必要但简明的数学基础，本文分析并将现有的方法分为三类。等...
【EPFL博士论文】等变神经结构用于表示和生成图
数据派THU
10-21 122
来源：专知 本文为论文介绍，建议阅读5分钟 这篇论文的主要焦点是推进在构建能够处理大规模数据的置换等变神经网络的最新技术。图机器学习提供了一个强大的框架，它在化学、生物学和材料科学等科学领域有着天然的应用。通过将数据表示为图，我们编码了先验知识，即数据由一组实体组成，这些实体之间的互动与它们的单独属性一样有信息量，并且手头的任务不取决于它们的排序。虽然图表示允许有效的学习，但构建既有表达能力又高效...
探索E(n)群等变图神经网络的潜力：EGNN项目深度解析
最新发布
gitblog_00002的博客
06-09 338
探索E(n)群等变图神经网络的潜力：EGNN项目深度解析 egnn 项目地址: https://gitcode.com/gh_mirrors/eg/egnn 1、项目介绍 E(n) Equivariant ...
几何等变图神经网络综述
白景屹的博客
10-27 2863
许多科学问题都要求以几何图形（geometric graphs）的形式处理数据。与一般图数据不同，几何图显示平移、旋转和反射的对称性。研究人员利用这种对称性的归纳偏差（inductive bias），开发了几何等变图神经网络（GNN），以更好地描述几何图的几何特性和拓扑。尽管取得了丰硕的成果，但它仍然缺乏一项survey来描述等变GNN是如何发展的，这反过来又阻碍了等变GNNs的进一步发展。为此，基于必要但简明的数学预备知识，我们下面分析并将现有方法分为三组，以了解如何表示GNN中的消息传递和聚合。
[论文理解]深层等变卷积神经网络Rotation Equivariance of Deep Convolutional Neural Network
bxdzyhx的博客
11-21 2236
1.几个问题 1.1 做了什么 提出一种能保证全局旋转等变性的卷积神经网络。 能对四个旋转方向提取特征。 1.2 效果 略 1.3 局限性 只能实现四个方向的旋转，因为矩阵是方形的，最多作用在p4群上。 2.数学部分 2.1 旋转操作 图像函数为f:Z2→Rf:{Z^2} \to Rf:Z2→R。定义旋转变换RRR（这里的R不是实数域的意思）,R(f(x)),x∈Z2R\left( {f\left( x \right)} \right),x \in {Z^2}R(f(x)),x∈Z2相当于将图像顺时针喜欢.
[论文理解]群卷积神经网络Group Equivariant Convolutional Networks（G-CNN）
bxdzyhx的博客
11-18 8686
仿照了这个博主的方法，读每一篇文献的时候都要问自己 它做了什么？用什么方法做的？效果如何？有什么缺点？ 这些几个问题，以加深自己的理解。 1. 几个问题 做了什么 提出了群等变卷积神经网络（Group equivariant Convolutional Neural Networks，G-CNNs)，通过采取对称性减低了采样复杂度。 G-CNN将CNN对平移群的等变性（下文会解释）推广到更大的对称群，包括旋转和反射。 特点/优点 比常规卷积层有更高的权重共享程度。 卷积层易于使用，对于由平移、反射和旋
等变神经网络中的可控偏微分算子与物理理论融合
传统的卷积神经网络(CNNs)虽然在图像处理中表现出色，但其等变性局限于平移不变性。通过引入偏微分算子，等变神经网络可以捕捉更复杂的变换，如旋转和缩放，从而提高模型的泛化能力。 PDOs的等变性意味着它们在应用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值