Graph attention networks

ICLR 2018

最近在学习图卷积网络。调研一些文章吧。

这篇文章不是GCN，是GAT

输入是N个结点特征h，输出是新的N个特征h'。这个过程至少需要一个权重矩阵W来转移。这里W是所哟结点共享的。这样的共享的结果肯定不是最优的，因此加上self-attention,为每个相邻节点到中心节点的转移设置独特的权重：

这里Ni是i节点的邻接点集合。aij就是上述独特的权重，其实就是邻接点对中心点的重要性

文中还提到多头注意力机制更优：

K是注意力机制数目。||是concat操作。

当然最后一层不能concat了，要求均值。