GCN与GAT的前世今生

GCN与GAT

GAT是为了解决GCN的缺点产生的

GCN缺点：

1. 对于同阶邻域上分配给不同邻居的权重是完全相同的，无法为邻居中不同节点指定不同的权重。这一点限制了模型对于空间信息的相关性的捕捉能力，也是在很多任务上不如GAT的原因。
2. GCN结合临近节点特征的方式和图的结构依依相关，这使得训练得到的模型在其他结构的图中泛化能力相对较差。

GAT的优点：

1. 可以给邻居中不同节点分配不同权重。
2. 引入注意力机制之后，只与相邻节点有关，即共享边的节点有关，无需得到整张图的信息：
   (1)该图不需要是无向的(如果边缘不存在，我们可以简单地省略计算；
   (2)它使我们的技术直接适用于Inductive Learning（归纳学习）——包括在训练期间完全看不见的图形上的评估模型的任务。

GAT与GCN的核心区别：
在于如何收集并累和距离为1的邻居节点的特征表示。

GAT用注意力机制替代了GCN中固定的标准化操作。
本质上，GAT只是把GCN的标准函数替换为使用注意力权重的邻居节点特征聚合函数。

GAT的分类过程与GCN的分类过程十分相似，均是采用 softmax函数+交叉熵损失函数+梯度下降法来完成的。