[论文笔记] [2014] Spectral Networks and Deep Locally Connected Networks on Graphs

这篇论文首次提出了基于空域（Spectral-domain）和基于频域（Spatial-domain）的图上卷积神经网络。
从题目可以看出，这篇论文分为两部分，一部分是Deep Locally Connected Networks，一部分是Spectral Networks。前者是基于空域角度去设计图卷积的，而后者是基于频域角度设计图卷积。

Spatial Construction

空域上的工作，作者的意图是设计一种network适用于拓扑结构，且具备卷积的性质（局部连接和层次化表达，在图卷积中没有local translational invariance这个特性），用来提取拓扑结构上的特征。本质上就是找出每个顶点的neighbors，并对其特征进行提取。而这里需要思考的两个问题是：

• 按照什么条件去找中心的neighbors，也就是确定receptive field？
• 确定receptive field，按照什么方式处理包含不同数目neighbors的特征？

Locality via $W$

对于第一个问题，作者是通过对称非负的矩阵 $W$（其实就是图的邻接矩阵），并通过设定一个阈值 $\delta$，来确定中心结点的neighbors：
N δ ( j ) = { i ∈ Ω : W i j > δ } N_{\delta}(j)=\{i \in \Omega: W_{ij} > \delta\} Nδ​(j)={ i∈Ω:Wij​>δ}
这种方式即实现了locality，能得到一个局部连接的网络，减少了网络的参数。但这种方式确定neighbors，存在一个问题，就是对于每个结点都需要单独计算neighbors。

Multiresolution Analysis on Graphs

在CNN中，通过pooling和subsampling layer减小grid的大小，其过程就是将输入特征map到一个cluster中，输出一个对应这个cluster的单一feature。而在图上，关于multiscale clustering，有较多这方面的文献。

上图是图上的两层clustering，第一层有12个结点，有6个clustering，通过图上的pooling操作，映射到下一层就为6个结点，图的规模减小了，此时对其进行聚类，就是3个clustering。

Deep Locally Connected Networks

在第k层，输入维度为$d_{k-1}\times f_{k-1}$ 的 x k = ( x k , i ; i = 1... f k − 1 ) x_k = (x_{k,i};i=1...f_{k-1}) xk​=(xk,i​;i=1...f