论文里面实现的GAT网络是多注意力机制的,直接理解起来很困难,这里我们就先从单注意力机制的GAT网络说起。
一、单注意力机制
先来看看单注意力下,GAT网络的工作流程(以代码中的demo为例):
上述流程图也可以简化为:
这里将特征提取层、attention layer与hidden layer(output layer)合并为了一个attn head layer,论文中也明确指出GAT仅仅attn head layer组成。
接下来我们将attn head layer视为一层,来介绍其中每个子层的作用:
1、 特征提取层
这里给出几个符号定义:
(1) F1:表示输入attn head layer的特征向量长度
(2) F2:表示attn head layer输出的特征向量长度
(3) nodes