GNN for Science上的应用

目录

简介

01/Science、GNN 背景介绍

1. AI for Science：一个新的转折点

2. 广泛存在于科学领域的“图”（Graph）

3. 图神经网络（GNN）是处理图数据的有效工具之一

4. 当前使用最广泛的 GNN 模型——MPNN

02/GNN for Science 相关研究

1. GNN for Physics

2. GNN for Biology and Medicine

3. 表示任务

4. 交互过程

5. 分子生成任务

03/最新进展——欧式等变图神经网络

2. 物理对称性诱导 GNN 的等变性（Equivariance）

3. 几何约束

4. 其他工作

04/总结

参考

---

简介

导读：如今机器学习模型的可解释性已经引起人们的广泛关注，而图机器学习作为机器学习领域的重要组成部分，其可解释性更值得人们的深入研究。GNN for Science 将科学知识融入机器学习领域，从另一方面体现了机器学习的可解释性，也可以对人们如何提高模型可解释性有所启发。

今天为大家带来的是黄文炳老师讲解的 GNN for Science 报告，主要内容包括：

• Science、GNN 背景介绍
• GNN for Science 相关研究
• 最新进展——欧式等变图神经网络
• 总结

---

分享嘉宾｜黄文炳 中国人民大学高瓴人工智能学院 助理教授

编辑整理｜于文昊 北京航空航天大学

出品社区｜DataFun

分享嘉宾

黄文炳

中国人民大学高瓴人工智能学院 助理教授

黄文炳，现为中国人民大学高瓴人工智能学院助理教授。2017年取得清华大学计算机科学与技术博士学位，2012年取得北京航空航天大学数学与应用数学学士学位。主要研究兴趣为图神经网络与图模型理论方法及其在物理系统的表示与决策、智能化学药物发现等任务上的应用。在人工智能领域顶级会议或期刊（NeurIPS、ICLR、TPAMI等）发表论文30余篇，谷歌学术引用3000余次。代表性工作包括快速图学习算法AS-GCN、深度图网络训练方法DropEdge、多体物理动力学仿真模型GMN、大规模分子图预训练网络GROVER等。

---

 

01/Science、GNN 背景介绍

1. AI for Science：一个新的转折点

最近几年来，人工智能领域的前沿研究主要着眼于基于大规模无标注数据的模型预训练，从 2020 年以来，GPT3、ViT、Switch Transformer 等语言、视觉模型的提出，成为当前研究的主流趋势。

而 DeepMind 在 2021 年提出的 AlphaFold2 模型，也使机器学习方法在生物领域成功落地，并成为使机器学习从处理经典 AI 任务的数据（如图像和自然语言）到处理科学数据（如生物、物理领域的数据）的一个新的转折点。

DeepMind 将 AI 应用于科学领域的思想，有望成为从人工智能转变为人工专家智能的新转折点。在 2021 年末到 2022 年初，DeepMind 接连发表多篇 AI for Science 领域文章，将 AI 技术应用于传统自然科学如数学、物理、物理化学等领域，实现利用深度学习算法进行数学推理、控制核聚变、提升 DFT 的预测性能等重要突破。

2. 广泛存在于科学领域的“图”（Graph）

生活中我们所说的粒子一般是指分子，分子由原子组成，而原子之间又由化学键形成连边。分子本质上是一个“图”（graph）；具体在医药领域，我们生命服用的小分子药物和病毒蛋白质（属于大分子）的结合也和图上的连接的概念相似；除此之外，在天体运动过程中，我们同样可以将其看作是一个全连接图（基于它们的相互作用来建边）。

将科学领域的数据建模成图数据之后，我们便可以使用处理图结构的方法（如 GNN）对这些模型进行进一步表示和分析。

3. 图神经网络（GNN）是处理图数据的有效工具之一

关于 GNN，和我们的直接认知所不同的一点是：最早的图神经网络并不是由机器学习领域的学者提出，而是早在 1997 年由意大利学者 A. Sperduti, et al 在 Supervised neural networks for the classification of structures 文章中作为处理图结构数据的方法提出。

在那之后，最近几年（2014~2021）中，图神经网络也受到越来越多的关注。在 2022年 ICLR 的 Submission Keywords 中，“graph neural network”也排到了第三名。而发布在各个顶会上的关于 GNN 的论文量也随着年份呈指数性增长。

接下来我们来简单回顾 GNN 的发展历程。

2005 年，几位意大利学者 Scarselli et al. 最先提出 GNN 这个词，为 GNN 的发展起到了奠基的作用。

随后在 2014 年，LeCun 团队最先在 ICLR 引入了图卷积的概念，并且提出空间卷积和谱图卷积两种卷积网络。

从宏观上来看，我们可以从两个方面来理解图神经网络 GNN。

• 将 GNN 看作是一种 RNN（递归神经网络）