Hypergraph Convolution and Hypergraph Attention笔记

1 Title 

        Hypergraph Convolution and Hypergraph Attention（Song Baia, Feihu Zhanga, Philip H.S. Torr）[Pattern Recognition 2021]

2 Conclusion

        To efficiently learn deep embeddings on the high-order graph-structured data, this paper proposes two end-to-end trainable operators to the family of graph neural networks, hypergraph convolution and hypergraph attention. Whilst hypergraph convolution defines the basic formulation of performing convolution on a hypergraph, hypergraph attention further enhances the capacity of representation learning by leveraging an attention module. With the two operators, a graph neural network is readily extended to a more flexible model and applied to diverse applications where non-pairwise relationships are observed. 

3 Good sentence

        1、The primary obstacle to defining a convolution operator in a hypergraph is to measure the transition probability between two vertices, with which the embeddings (or features) of each vertex can be propagated in a graph neural network.(The difficulty of the research need to overcome)

        2、Nevertheless, hypergraph attention is only feasible when the vertex set and the hyperedge set are from (or can be projected to) the same homogeneous domain, since only in this case, the similarities between vertices and hyperedges are directly comparable（the shortcomings of the hypergraph attention）

        3、As the only difference between hypergraph convolution and hypergraph attention is an optional attention module on the incidence matrix H（the difference of the hypergraph attention and hypergraph convolution，the attention is optional）

---

摘要：

        本文在图神经网络族中引入了两个端到端可训练算子，即超图卷积和超图注意力。超图卷积定义了在超图上执行卷积的基本公式，超图注意力通过利用注意力模块进一步增强了表示学习的能力。

介绍：

        CNNs（卷积神经网络）持有一个极其严格的假设，即输入数据应具有规则的网格状结构。这种限制阻碍了细胞神经网络在不规则结构数据广泛存在的许多任务中的推广和应用。

        为了处理普遍存在的不规则数据结构，人们对图神经网络GNN越来越感兴趣，这是一种利用图数据学习深度模型的方法。大多数现有方法都假设感兴趣对象之间的关系是成对的，而实际情况复杂得多。

        本文提出的超图卷积和超图注意力，

1. 超图卷积定义了超图中的一个基本卷积算子。它通过充分利用其中的高阶关系和局部聚类结构，实现了顶点之间的有效信息传播。从数学上证明了当非成对关系退化为成对关系时，图卷积是超图卷积的一个特例。
2. 除了用于传播的底层结构是预定义的超图卷积之外，超图注意力进一步发挥了注意力机制来学习超边的动态连接。然后，在图的任务相关部分中进行信息传播和收集，从而生成更具判别力的节点嵌入。
3. 超图卷积和超图注意力都是端到端可训练的，并且只要观察到非成对关系，就可以插入到图神经网络的大多数变体中。在基准数据集上的大量实验结果证明了所提出的半监督节点分类方法的有效性

方法

        超图

        设G=(V,E)是一个具有N个顶点和M个超边的超图。每个超边e都被赋予一个正权重w，所有权重都存储在对角矩阵W中。当超边E与顶点V相关联时，超图G一般可以用关联矩阵H表示。

这两个分别是顶点的阶和超边的阶的定义。

        超图卷积：

       在超图中定义卷积算子的主要障碍是测量两个顶点之间的转换概率，该概率可以在图神经网络中传播每个顶点的嵌入（或特征）。

        基于两个假设：1）由公共超边连接的顶点之间进行了更多的传播，2）权重大的超边在这种传播中置信度应该更高。卷积可以被定义成：

这个P是X^l和X^(l+1)之间的权重矩阵，W也是权重，但是是超边上的权重。 

                这是卷积的对称规范化，其中，B,D分别代表超边和顶点的阶数（degree）这部分不大于1，令是大小适宜的单位矩阵，那么是一个半正定的矩阵

这个公式也行，叫行规范化（row-normalization），与上面的式子不同的是：它的传播是定向和非对称的。

        可以在模型训练中使用超图卷积，并通过梯度下降对其进行优化。

 超图注意力：

        超图卷积自带一种注意力机制，因为有权重导致各种信息被分配了不同的重要性，但是这种注意力不能学习和训练。超图注意力的目的就是学习一个可以更新的动态关联矩阵从而获得一个能够更好地揭示顶点之间内在关系的动态转移矩阵。

        然而，只有当顶点集和超边集来自（或可以投影到）同一齐次域（ homogeneous
domain）时，超图注意力才是可行的，因为只有在这种情况下，顶点和超边之间的相似性才是直接可比较的。

        当顶点集和超边集可以比较的时候,对于给定的顶点xi以及与它有关的超边xj，注意力得分的定义如下：

        

        Ni是xi的邻域集合，sim（·）是一个相似性函数，用于计算两个顶点之间的成对相似性，[,||,]代表串联（concatenation），a是用于输出标量相似性值的权重向量。除了X（l）和P之外，超图注意力还将梯度传播到H。.

                具有5个顶点和2个超边的超图卷积和超图注意力的示意图。超图卷积和超图注意力之间的唯一区别是关联矩阵H上的可选注意力模块