ML(11)-图神经网络GNN简史、不动点建模-笔记

阅读笔记：从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (一)(https://www.cnblogs.com/SivilTaram/p/graph_neural_network_1.html)
该文详细写明了设涉及的参考材料，是一个很棒的综述性材料。本文仅作为阅读该系列文章的笔记，详情请参考原文。

GNN侧重于时序展开，GCN是空间序展开

1.图神经网络简史

1. 2005年–图神经网络的概念被提出，
2. 2009年–Franco博士在论文[1]《The graph neural network model》阐明了图神经网络的理论基础。早期的GNN用于诸如依据分子结构对物质进行分类等问题。
3. 2013年–Bruna首次提出基于频域和基于空域的卷积神经网络[2]。
4. 其后，基于空域卷积的研究偏多，基于频域的工作相对较少。
5. 2014年–引发了图表示学习的研究热潮(DeepWalk，知识图谱的分布式表示)。

2.图神经网络–学习过程

（没有明白如何测试，哪些东西是可学习的？）
基本思想就是：建模一张图（最核心的部分，希望可以通过后续的例子来说明如何建模一张图），通过信息的传播使整张图达到收敛，在其基础上再进行预测。

学习目标1–利用状态更新函数f，获取每个结点的图感知的隐藏状态。
学习目标2–利用输出函数g，来适应下游任务，例如分类。

状态更新函数f，用来不断更新结点的隐藏状态。其输入是：该结点的特征、邻居结点的隐藏状态、邻居结点的隐藏状态、边的特征。f使用神经网络建模，用另据结点的额隐藏状态来更新当前结点的状态，直至隐藏状态的变化幅度很小。

输出函数g，其输入是某一个结点的特征和隐藏状态，得到下游任务的输出，例如分类任务。

loss与f,g学习：（以社交网络为例，在整张图中）并不是每个结点都有监督信号。有监督信号的结点参与loss的计算，迭代的依次得loss对关于隐状态的$h_v^0,h_v^1,...,h_v^T$的梯度，用于更新模型参数(f,g的权重吧)(具体操作还是跑代码能明白的清楚些) AP 算法。

3.图神经网络–理论基础

Franco博士图神经网络的理论基础是不动点理论，专指巴拿赫不动点定理。只要状态更新函数f是一个压缩映射，每个结点的任意初始化的隐状态都能够收敛至一个固定点的，即不动点。（如何保证这个不动点就是我们想要的点呢）

压缩映射：对于原空间中的任意两个点$x,y$，经过f映射后分别变成$f(x),f(y)$。如果满足$d(f(x),f(y))\le cd(x,y),0\le c\le 1$，那么f即构成一个压缩映射。
即经f变换后的新空间比原空间要小，原空间被压缩了。不断进行压缩操作，最终就会把原空间中的所有点映射到一个点上。（压缩轨迹应该不私想象中那么平滑）

保证神经网络是一个压缩映射：限制f对h偏导数矩阵的大小，采用雅可比矩阵惩罚项的实现。

4.图神经网络的局限

（本阶段图神经网络的局限性）

1. 边的特性无法学习
2. 基于不动点的收敛会导致结点之间的隐藏状态存在较多的信息共享，从而导致状态太过于光滑，并且属于结点自身的信息匮乏。

5.GNN,RNN,GGNN

GNN隐状态的时序迭代更新方式与RNN非常类似，两者的区别：

1. GNN依据不动点理论，沿时间展开长度是动态的，RNN沿时间展开的长度就是序列本身的长度。
2. GNN用AP算法反向传播，RNN用BPTT优化

GGNN：可学习的边权，不依赖于不动点定理，使用GRU更新法则，状态更新若干步，利用BPTT算法反向传播得到边权和GRU的参数。

6.小结

之后会介绍图卷积神经网络，拜托了基于循环的方法，开始走向多层神经网络。

[1]. The graph neural network model, https://persagen.com/files/misc/scarselli2009graph.pdf
[2]. Spectral networks and locally connected networks on graphs, https://arxiv.org/abs/1312.6203