Hypergraph Neural Networks超图神经网络

摘要：提出了一种超图表示学习的超图卷积网络，包括一种新的超图卷积操作来挖掘用户之间的关系。

引言：

图神经网络可以使用数据图结构，编码不同数据。

传统GCN存在的问题：①不能表达成对的复杂关系②数据表示趋向于多模态

解决问题：提出HGNN:使用超图编码高阶数据关系，使用超图连接多模态关系

相关工作：

        超图学习：超图结构首次提出：最小化顶点之间的标签差异-》超图学习应用于视频物体分割-》应用于图像之间的关系，并建模图像排序-》开始学习超边权重改善超边结构，局部权重，相似的超边有相似的权重-》对于多模态数据,引入多超图，对每一个子超图设置权重

       图神经网络：

将神经网络应用在图中-》RNN

图卷积两种方式：

①谱方法：在图谱域中进行图卷积，类比傅里叶变换到图拉普拉斯特征基-》参数化谱过滤器-》kipf和welling将chebyshev多项式简化为一阶多项式，形成高效的分层传播模型（GCN）

②空间方法：空间封闭节点中进行图卷积：高斯混合矩阵-》注意力机制运用到分类模型中

超图神经网络：

谱卷积：给定超图G=（V，ε，W），n个顶点，顶点集-边集-边权重，得到超图卷积层公式，可以充分挖掘数据的高阶关系：

 ：

 超图卷积公式的图解释：

 

 Dv是归一化，H是关联矩阵N*E，W是边权重对角矩阵，De是边的度矩阵

直观解释：超图卷积实现了节点-超边-节点的转换

①节点维度C1->C2的转换：XΘ：通过滤波器Θ(C1*C2)对节点特征X进行处理，将维度N*C1转换为N*C2

 ②由超边节点->超边表示：H^T*XΘ，其中H^T为E*N的矩阵（类似于边和节点的邻接矩阵），使用卷积得到超边的表示E*C2

③由超边表示聚合->节点表示：H*W*De*(H^T*XΘ），其中H为N*E的矩阵（类似于节点和边的邻接矩阵），使用卷积得到节点的表示N*C2

扩展到多模态数据：

和当前方法的关系（优势）：

当超边节点只有2的时候，超图拉普拉斯转化为简单图拉普拉斯矩阵的1/2，

可以提取特征挖掘数据间的高阶关系，计算量小，

超边生成的方式比较简单，所以可扩展到多模态数据

实现:

①构建超图

以视觉对象分类为例：

节点：视觉对象图片

超边关系：节点和距离其最近的K个节点，距离：欧氏距离->N条大小为K+1的超边

H：N*N

同理，引文分类根据邻接矩阵可以得到N*N的关联矩阵

②节点分类模型：

两层HGNN，得到关联矩阵H和度矩阵De,

激活函数：softmax

损失函数：交叉熵，反向传播更新参数θ

多模态数据：融合超边，建模复杂关系

实验

①引文网络分类：

数据：

 特征表示：词袋模型

生成关联矩阵：N*N，和原始矩阵相似

实验设置：

        特征维度：16，dropout:0.5，Adam优化器，学习率：0.001

        训练测试比例：Cora-5%训练，Pubmed:0.3%训练

 结果和讨论：有提升，但是提升不是很大，原因：没有引入其他信息，图的结构相似

 ②视觉物体分类

数据集：Princeton ModelNet40 dataset：包含12311个40种物体照片，9,843训练，2,468测试

        NTU数据集，2,012个67种物体照片 ，80%训练，20%测试

特征表示：两种形状 表示方法：MVCNN、GVCNN

 关联矩阵：因为3D物品中没有可用的图矩阵，所以根据欧氏距离构建概率矩阵A：

         在构建简单图时：平均两个特征的邻接矩阵作为最后的混合图矩阵

 构建视觉超图的两种方法:①只使用单一特征②使用多模态特征（包括上面提到的两种特征）

 第一种方法使用KNN构建N*N的关联矩阵，第二种方法对于第i个特征会对应生成一个邻接矩阵Hi,最后将所有特征的邻接矩阵concatenate到一起形成H。如图：

实验结果和结论对比

 实验对比：feature（使用的特征矩阵）feature for structure：生成关联矩阵使用的特征

 

结论：

HGNN比现有的分类方法更有效比如GCN，可以传播高阶关系，在有多模态特征信息的时候，提升效率会更高。