假设我们有四个数据
同时这些样本直接具有联系,我们使用图和邻接矩阵给出它们的联系。
我们都知道注意力机制会得到注意力系数。代表每个样本之间的相似性。
图注意力网络就是为了利用样本之间的联系来简化注意力系数矩阵,使他不要关注那些不重要的信息。
方案一
这个时候需要利用前面的邻接矩阵来调整这个注意力系数矩阵,给注意力系数矩阵的对应位置乘上邻接矩阵,就能屏蔽掉那些没有必要的注意力系数了。
方案二
也可以对邻接矩阵取反,乘以很大的负数加到注意力系数上面,因为最终注意力系数矩阵要经过softmax层。
softmax函数,单独看分子,当x是一个很大的负数时,就接近于0