背景
回顾神经网络架构的发展历程，我们可以发现，对称性始终扮演一个隐蔽而核心的角色，几何深度学习将对称性的重要性凸显出来。一方面，在传统计算机视觉与自然语言处理领域，我们看到近几年来以Transformer为基础的网络架构，取得了令人惊异的效果。另一方面，对称性作为第一原理在自然科学中地位至关重要。于是，我们有理由相信，从对称性的视角出发，几何深度学习会在人工智能与科学领域的结合中，发挥重要价值。
图1：几何深度学习会在人工智能与科学领域的结合
事实上，当前深度几何学习在AI for Science领域已经取得令人瞩目的成果，并将发挥越来越重要的作用。基于图神经网络和Transformer的Alphafold2在预测蛋白质结构中，显示出非常高的准确性。在小分子结构的预测与生成中，在图神经网络中加入额外的欧几里得空间的刚体变换对称性（E(3)对称群），可以显著提升计算精度，降低训练复杂度。在全球天气预测中，由于地球表面是一个二维球面，会涉及到流形上的卷积，坐标规范变换等问题，几何深度学习为神经网络的设计提供了系统性的理论框架。而宇宙学中，时空由于引力导致弯曲，几何深度学习为这种弯曲的黎曼流形结构与AI的结合提供了理论基础。
另一方面，在基础科学领域，例如凝聚态物理与量子物理中，与AI的结合程度还不深。这是由于在这些领域中，人类系统性的理论知识发展相对完善，而高质量的数据获取又十分困难。因此，如何在神经网络中“注入”已知的知识，以及提高数据的利用率显得尤为关键。
群等变神经网络在数据利用率的提高上，展示出令人惊讶的优势。例如，在三维俄罗斯方块的分类任务中，一共有8中构型。传统做法需要对每一种构型数据进行大量空间旋转来进行数据增强，这无疑大幅增加了数据量，以及训练的复杂度，而且也不能保证其预测准确性。而在E(3)等变神经网络中，每一种构型只需要必要一个数据，甚至更少——如果两种构型可以通过一个E(3)变换相联系。再大幅降低数据需求量的同时，其预测准确性从理论层面上得以保证，同时这种神经网络具有更好的解释性与表达能力。
在所有已知的知识中，对称性是作为深刻而基础的一类知识，也是解释自然规律的关键所在。例如高能粒子的时空具有洛伦兹群对称性（SO(1, 3)群），洛伦兹群等变神经网络未来可以在高能物理中发挥重要作用。现代物理使用场论描述，其背后的数学语言同样是微分几何与纤维丛，可以预见，深度几何学习将会扮演现代物理学与人工智能相结合的主角。
对于AI for Science大模型，基于几何深度学习，我们可以做一个简单大胆的构想：首先通过某种神经网络学习出输入系统的对称性，比如通过学习对称群的李代数方式[3]；之后通过某种机制控制各种对称性的强度，让网络自行选择使用何种对称群的等变网络，使得网络满足适应于输入系统的近似对称性。当然，未来的大模型大概率不会这么简单，其中也充满着尚待解决的问题，我们期待未来可以看到这个方向的进一步进展。
图2：L-conv学习数据的SO(2)群的李代数
参考文献
[1] Bronstein, Michael M., et al. "Geometric deep learning: Grids, groups, graphs, geodesics, and gauges." arXiv preprint arXiv:2104.13478 (2021).
[2] Weiler, Maurice, et al. "Coordinate Independent Convolutional Networks--Isometry and Gauge Equivariant Convolutions on Riemannian Manifolds." arXiv preprint arXiv:2106.06020 (2021).
[3] Dehmamy N, Walters R, Liu Y, et al. Automatic symmetry discovery with lie algebra convolutional network[J]. Advances in Neural Information Processing Systems, 2021, 34: 2503-2515.
往期回顾
MindSpore AI科学计算系列 | 图、流形与群等边网络
MindSpore AI科学计算系列 | 几何深度学习系列——统一视角下的神经网络
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
