特征图注意力_图注意力网络(GATs)

图注意力网络(GATs)引入注意力机制,简化图神经网络处理,仅依赖一阶邻居信息。它解决了图卷积网络在inductive任务上的局限,以及对不同邻居使用相同权重的问题。GAT通过注意力系数加权求和邻居节点特征,使用多头注意力增强表征能力。计算注意力值时,涉及LeakyReLU激活和归一化。不使用激活函数可能导致注意力系数失真。
摘要由CSDN通过智能技术生成

4d217414403ae0485f7a46c9e7608387.png

1.图注意力网络简介

图注意力网络将注意力机制引入到基于空间域的图神经网络,与之前介绍了基于谱域的图卷积神经网络不同,图注意力网络不需要使用拉普拉斯等矩阵进行复杂的计算,仅是通过一介邻居节点的表征来更新节点特征,所以算法原理从理解上较为简单。

图注意力网络优化了图卷积神经网络的几个缺陷:

  • 图卷积神经网络擅长处理transductive任务,无法完成inductive任务。图卷积神经网络进行图卷积操作时需要拉普拉斯矩阵,而拉普拉斯矩阵需要知道整个图的结构,故无法完成inductive任务,而图注意力网络仅需要一阶邻居节点的信息。(transductive指的是训练、测试使用同一个图数据,inductive是指训练、测试使用不同的图数据)
  • 图卷积神经网络对于同一个节点的不同邻居在卷积操作时使用的是相同的权重
    (详见图卷积神经网络最终使用的卷积公式),而图注意力网络则可以通过注意力机制针对不同的邻居学习不同的权重。

2.算法流程

  • 对所有节点训练一个的共享权重矩阵
    ,得到每个邻居节点的权重,这个权重矩阵就是输入的
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值