MPNN消息传递神经网络论文阅读

Burger~

已于 2023-12-18 14:32:45 修改

阅读量1k

点赞数 23

分类专栏：论文阅读文章标签：神经网络论文阅读人工智能深度学习机器学习

于 2023-12-18 11:29:13 首次发布

本文链接：https://blog.csdn.net/Burger_/article/details/135055604

版权

论文阅读专栏收录该内容

4 篇文章 0 订阅

订阅专栏

前言

最近读了Neural Message Passing for Quantum Chemistry（MPNN arxiv），我导和我一致认为这篇论文有点拉跨，但毕竟是Message Passing Neural Networks的首次提出，所以还是讲一下。本文旨在提供一个high level的idea，并不讨论细节。

任务

给定化学分子，对它的量子化学性质进行预测，DFT方法计算昂贵，本文提出了MPNN方法，速度很快，且误差也很小。

方法

1. 框架

作者从六大类图神经网络中抽象出了一个框架：MPNN，并且以GG-NN作为baseline（原文：We began our exploration of MPNNs around the GG-NN model which we believe to be a strong baseline.）。

该框架分为三个部分：Message passing，Vertex updating，Readout。

$M_t$ 是一个函数/神经网络，Message passing就是说用顶点v以及它的邻居w的隐藏状态（hidden state），以及连接它们的边的信息，生成信息 $m_v^{t+1}$ 。

$U_t$ 是一个函数/神经网络，Vertex updating就是说用刚才生成的 $m_v^{t+1}$ ，和自己的隐藏状态，更新为 $h_v^{t+1}$ 。

$R$ 是一个函数/神经网络，Readout就是说整合所有节点T次迭代（Message passing+Vertex updating）之后的隐藏状态，做一个输出。

2. baseline

作者的思想就是以GG-NN为baseline，然后替换三大部分中的构件，取得一个好的效果。

Message passing：使用可学习的、与边vw相关的矩阵A，去乘节点w的隐藏状态。缺点是没有利用顶点v的隐藏状态。

Vertex updating：GRU是Gated Recurrent Unit，读者可以自行去了解。

Readout：熟悉GLU（Gated Linear Units）的读者会一眼看出这个结构：σ()⊙()。内部的i和j是两个不同的神经网络，i将初始状态也作为输入。但是二者的输出维度必须是一样的，因为要做对应元素相乘⊙。

3. Interaction

f是一个神经网络，它用到了顶点v的隐藏状态。

4. set2set

论文里说的是将元组 $(h_v^T,x_v)$ 进行线性投影，形成 $T=\{(h_v^T,x_v)\}$ ，然后经过M步计算，得到一个图级的嵌入 $q_t^*$ ，再将 $q_t^*$ 输入到一个神经网络中得到最终的输出。

5. multiple towers

为了提高模型的运行速度以及对大图的泛化能力，作者提出了多塔（其实就是MapReduce的思想）。节点属性的维度是d，现在将属性划分为k个维度是d/k的属性，每个分布式分别迭代所有节点的d/k属性，最后再拼接起来输入到一个神经网络中进行readout。

实验

1. 数据集

作者选择了QM-9数据集，内含130462个分子，随机选择其中的10000个作为验证集，10000个作为测试集。分子的性质包括原子类型、质子数等。

2. 步骤

这里放原文的一句话：We focused on trying different message functions, output functions, finding the appropriate input representation, and properly tuning hyperparameters.其实就是炼丹。