NIPS2014图上的谱聚类

题目：Spectral Networks and Deep Locally Connected Networks on Graphs
摘要：
卷积神经网络在图像和音频识别任务中是非常有效的结构，因为它们能够利用信号类在其域上的局部平移不变性。在本文中，我们考虑了在没有翻译组作用的情况下，CNN对更一般域上信号的可能概括。特别地，我们提出了两种构造，一种基于域的层次聚类，另一种基于图拉普拉斯的谱。我们通过实验证明，对于低维图，可以学习具有与输入大小无关的多个参数的卷积层，从而产生有效的深层结构。
介绍：
卷积神经网络（CNN）在机器学习问题中非常成功，其中基础数据表示的坐标具有网格结构（1、2和3维），并且在这些坐标中研究的数据相对于该网格具有平移等方差/不变性。语音[11]、图像[14、20、22]或视频[23、18]都是属于这类的显著例子。
在一个规则的网格上，CNN能够利用几个可以很好地协同工作的结构，从而大大减少系统中的参数数量:

1.translation结构，允许使用过滤器而不是通用线性映射，从而实现权重共享
2.网格上的度量，允许紧凑支持的过滤器，其支持通常比输入信号的大小小得多。
3.网格的多尺度二元聚类，允许通过stride卷积和池化实现子采样
如果在d维网格上有n个输入坐标，则具有m个输出的完全连接层需要n·m参数，在典型的操作状态下，这相当于o（n2）参数的复杂性。使用任意过滤器而不是通用的完全连接层，可以降低每个要素图参数的复杂性为O（N），就像通过构建“locally connected”网络使用度量结构一样[8，17]。同时使用这两个参数给出了O（k·s）参数，其中k是特征图的数量，s是过滤器的支持，因此，学习的复杂性与n无关。最后，使用多尺度二元聚类允许每个成功层使用每个过滤器的二维（空间）坐标减少系数
然而，在许多情况下，人们可能会面临在缺乏部分或全部上述几何特性的坐标上定义的数据。例如，在三维网格上定义的数据，如表面张力或温度、气象站网络的测量值、社会网络或协作过滤的数据，都是结构化输入的例子，不能应用标准的卷积网络。另一个相关的例子是由深神经网络产生的中间表示。虽然空间卷积结构可以在多个层次上被利用，但典型的CNN结构在“特征”维度上不假设任何几何结构，从而产生仅沿空间坐标卷积的4-D张量。
图提供了一个自然的框架来概括低维网格结构，并通过扩展卷积的概念。在这项工作中，我们将讨论除规则网格以外的图形上的深层神经网络的构造。我们提出两种不同的结构。在第一个图中，我们表明可以将属性（2）和（3）扩展到一般图，并使用它们来定义“局部”连接和池层，这需要O（n）参数而不是O（n2）。我们称之为空间结构。另一种构造，我们称之为谱构造，利用傅立叶域卷积的性质。在rd中，卷积是线性算子，由傅立叶基exp（iω·t），ω，t∈rd对角化。然后可以通过定义相应的“傅立叶”基将卷积扩展到一般图。这种等价是通过图拉普拉斯算子给出的，该算子对图[1]进行了调和分析。每个特征图的光谱构造最多需要O（n）个参数，并且可以在参数数量与输入尺寸n无关的情况下进行构造。这些构造允许有效的正向传播，并且可以应用于坐标数量非常大的数据集。
1.1 贡献
我们的主要贡献总结如下

• 我们证明，从输入域的弱几何结构中，可以使用O（N）参数获得有效的体系结构，并在低维图数据集上进行验证
• 我们引入了一个由经验验证的O（1）参数构成的结构，并讨论了它与图上谐波分析问题的联系。

2 spatial construction
将CNN泛化到一般的graph上最直接的就是考虑多尺度、层次、局部接受度，如[3]所示。为此，网格将替换为加权图G=（Ω，W），其中Ω是一组大小为m的离散集，W是一个m×m对称非负矩阵
2.1 Locality via W
局部性的概念可以在图的上下文中很容易地推广。实际上，图中的权重决定了局部性的概念。例如，在W上定义一个邻里的直接方法是设置一个阈值δ>0并取邻里: