【论文阅读】Diffusion-Convolutional Neural Networks (DCNNs) | day9、10

30th Conference on Neural Information Processing Systems (NIPS 2016)

用于图结构化数据的神经网络——扩散神经网络。
该网络可从图结构化数据中获得基于扩散的特征表示。
基于此，可实现节点的分类。

优点：

1. 可以获得同构结构下不变的图结构的潜在表示。
2. 可以以张量运算的方式在GPU上进行预测和学习。
3. 在节点分类任务中的表现优于概率关系模型和基于图的核方法。

一、介绍

  通过引入“扩散卷积 diffusion-convolution’ operation”运算，将卷积神经网络（CNN）扩展到一般的图结构数据。扩散卷积运算不是像标准卷积运算那样在网格结构输入上扫描参数的“平方”，而是通过在图形结构输入中的每个节点上扫描扩散过程来构建潜在表示。

  该模型的动机是，封装图扩散的表示,可以提供比图本身更好的预测基础。图扩散可以表示为矩阵幂级数，提供了一种简单的机制，用于包含有关实体的上下文信息，这些信息可以在多项式时间内计算并在GPU上高效实现。

  优势：

• 分类准确率：DCNNs在节点分类任务上表现良好，并提供与图形分类任务的基线方法相当的性能。
  【基线是项目储存库中每个工件版本在特定时期的一个“快照”。它提供一个正式标准，随后的工作基于此标准，并且只有经过授权后才能变更这个标准。建立一个初始基线后，以后每次对其进行的变更都将记录为一个差值，直到建成下一个基线。】
• 灵活的图形数据表示方法：只需很少的预处理即可对节点特征、边缘特征和纯结构信息进行编码。且可用于具有图形数据的各种分类任务，包括节点分类和全图分类。
• 处理速度快：基于DCNN的预测可以表示为一系列多项式时间张量(tensor)操作，允许使用现有库在GPU上高效地实现模型。

二、模型

  假设有一组图，图形可以是加权的或未加权的、有向的或无向的。图的节点和边分别用一个矩阵表示，且构造一个度归一化矩阵，用于说明在一步中节点i跳到节点j的概率。
  

• 半监督分类任务：若输入一个图，且节点标签与其他节点有关。
• 标准监督分类任务：输入图没有边。
• 监督图分类任务：若输入多个图，且图标签与与每个图都有关。

  DCNNs将图作为输入，返回节点 / 图的标签Y的硬预测或条件分布P(Y |X)。

  节点或图形将被转换为扩散卷积表示，是一个H × F矩阵。若为节点分类任务，图被表示为N × H × F的张量，若为图分类任务，则被表示为H × F矩阵。

  模型基于扩散核的思想建立，当考虑图中任意两个节点之间的所有路径时，较长的路径比较短的路径更容易被忽略。扩散核是节点分类任务的基础。

  DCNN的核心操作是将节点及其特征，映射到，从该节点开始的扩散结果中。与标准CNN相比，DCNN参数与扩散搜索深度有关，而不是在网络中的位置。

  DCNN可应用于没有特征的图输入，将值为1.0的“偏差特征”与每个节点关联起来即可。此外，可以通过添加额外的结构节点特征(如Pagerank或聚类系数)来编码更丰富的结构，这时需要手工工程和预处理。

  DCNN通过反向传播误差的随机小批量梯度下降进行学习。在每个epoch上，节点索引被随机分组为几个批次。每个批次的误差计算方法是，取图定义幂级数的切片，将输入向前传播以预测输出，然后对反向传播的误差进行梯度上升设置权值。若实行“窗口早停”，则当给定epoch的验证误差大于前几次epoch的平均误差时，停止训练。

三、缺点

  不可扩展性：DCNNs可应用于具有数万到数十万个节点的图，但不适用于具有数百万到数十亿个节点的图。内存不够存储张量。

  局部性：DCNNs为节点构造的潜在表示，是基于该节点之后的扩散过程。是一个局部的构造。而无法为单个节点构造潜在表示，或为其他非局部行为之间构造潜在表示。