论文笔记：IJCAI-2019-Dynamic Hypergraph Neural Networks

论文名称：IJCAI-2019-Dynamic Hypergraph Neural Networks

论文地址： https://www.ijcai.org/proceedings/2019/0366.pdf

摘要

在神经网络模型中，由网络深层生成的嵌入特征具有初始结构无法捕获的高阶关系。现有的基于图或超图的神经网络的主要缺点是只采用初始的图或超图结构，而忽略了训练过程中通过调整特征嵌入动态修改图或超图结构。本文提出了一个动态超图神经网络框架(DHGNN)，它由动态超图构建(DHG)和超图卷积(HGC)两个模块组成。HGC模块包括顶点卷积和超边缘卷积，分别用来对顶点和超边之间的特征进行聚合。
主要贡献如下：

1. 提出了一种动态超图构建(DHG)方法，该方法采用k-NN方法生成基本的超边，通过k - means聚类算法扩展相邻超边集。通过动态超图构造方法，可以提取数据局部关系和全局关系。
2. 进行了基于引文网络分类和社交媒体情绪预测的实验。在基于网络的任务中，本文提出的方法优于最先进的方法，并且对不同的数据分布有更好的鲁棒性。在社交媒体情绪预测方面，本文提出的方法与最先进的方法相比，表现有所改进。

网络结构

对于超图中的每一个顶点u，先经过动态超图构建过程生成多条超边，然后对每一条超边分别进行顶点卷积，得到该超边的特征，然后对这些超边特征再进行超边卷积，最后得到中心顶点u新的特征。整个过程就是一个更新顶点u特征的过程，这样就可以根据顶点u的性特征构建新的超图，不断循环。

动态超图构建(DHG)

首先根据欧氏距离对每一层的整个特征图进行k-means算法。对每一个输入节点u，通过knn算法找到和该节点最相似的k-1个节点，连同顶点u形成一个超边；同时根据k-means的聚类结果将离定点u最近的S-1簇被赋值为与该顶点相邻的超边。

超图卷积(HGC)

超图卷积由两个子模块组成：顶点卷积子模块和超边卷积子模块。顶点卷积将顶点特征集合到上边缘，然后上边缘卷积将相邻的上边缘特征集合到形心顶点。

顶点卷积

从顶点特征中学习得到一个$k\ast k$的变换矩阵T，将矩阵T与输入顶点特征矩阵相乘，得到排列加权的顶点特征矩阵。然后经过一个一维卷积操作进行维度的压缩，最后得到包含这些节点的超边的特征。

在实现中，利用多层感知(MLP)生成变换矩阵T，利用一维卷积对变换后的特征进行压缩，如公式（3）所示。

超边卷积

将超边特征通过卷积进行聚合得到新的形心顶点特征，如图4所示。超边卷积首先利用多层感知机(MLP)生成每个超边的权值，然后再根据得到的权重和超边特征进行加权求和，得到输出的形心顶点特征。

完整的超图卷积过程如下：

实验结果

引文网络实验

主要对公共基准引文网络数据集Cora进行了一系列的实验。Cora 数据集具有固定的图结构，每个节点代表一篇学术文章，关系表示文章之间的相互引用，每个顶点都有一个词包特征向量和一个类别标签，表明论文所属的主题。通过随机抽取不同比例的数据作为训练集来验证方法的有效性，实验结果如下：

可以看出DHGNN算法对比其他方法有一些提升，并且在训练集较小时提升效果比较明显。

微博情感预测

微博数据集是没有固定图结构的数据集，含有 5550 条推文，其中 4196 条为正向情感，1345 条为负向情感。每个推文都包含文字、图片、表情三个模态，实验中分别为三个模态构建了三个超边集，并将这些超边集合并为一个多模态超边集。实验结果如下：

与目前最先进的方法相比，DHGNN在多模式情绪预测任务中、获得了1.8%的准确性提升，同时大大缩短了训练时间。