![182bea0fe779c15e7810a691bcb70549.png](https://i-blog.csdnimg.cn/blog_migrate/2d08fc2de2ea7181013aac4b736cdfe8.png)
0 GRAPH ATTENTION NETWORKS的诞生
随着GCN的大红大紫(可以参考如何理解 Graph Convolutional Network(GCN)?),graph领域的deep learning研究可谓变得风生水起,人工智能又出现了新的网红。GCN在一系列任务取得了突破性进展的同时,一系列的缺点也逐渐被放大。
深度学习三巨头”之一的Yoshua Bengio组提出了Graph Attention Networks(下述简称为GAT)去解决GCN存在的问题并且在不少的任务上都取得了state of art的效果(可以参考机器之心:深入理解图注意力机制的复现结果),是graph neural network领域值得关注的工作。
1 聊点基础
登堂入室之前,先介绍三点基础问题。
1.1 Graph数据结构的两种“特征”
当我们说起graph或者network的数据结构,通常是包含着顶点和边的关系。研究目标聚焦在顶点之上,边诉说着顶点之间的关系。
对于任意一个顶点
![51743f8751822fcaed489589d901412b.png](https://i-blog.csdnimg.cn/blog_migrate/74638a0f4eaa2b655084b90f3ca3d6bd.png)
当然,除了图的结构之外,每个顶点还有自己的特征
graph上的deep learning方法无外乎就是希望学习上面的两种特征。
1.2 GCN的局限性
GCN是处理transductive任务的一把利器(transductive任务是指:训练阶段与测试阶段都基于同样的图结构),然而GCN有两大局限性是经常被诟病的:
(a)无法完成inductive任务,即处理动态图问题。inductive任务是指:训练阶段与测试阶段需要处理的graph不同。通常是训练阶段只是在子图(subgraph)上进行,测试阶段需要处理未知的顶点。(unseen node)
(b)处理有向图的瓶颈,不容易实现分配不同的学习权重给不同的neighbor。这一点在前面的文章中已经讲过了,不再赘述,如有需要可以参考下面的链接。
superbrother:解读三种经典GCN中的Parameter Sharingzhuanlan.zhihu.com![5378224a83bec35c86eaddd10c511ea7.png](https://i-blog.csdnimg.cn/blog_migrate/3354f8e2de4a3622229323ec1f124a31.png)
1.3 Mask graph attention or global graph attention
还有一件事件需要提前说清楚:GAT本质上可以有两种运算方式的,这也是原文中作者提到的
- Global graph attention
顾名思义,就是每一个顶点
优点:完全不依赖于图的结构,对于inductive任务无压力
缺点:(1)丢掉了图结构的这个特征,无异于自废武功,效果可能会很差(2)运算面临着高昂的成本
- Mask graph attention
注意力机制的运算只在邻居顶点上进行,也就是说图1的蓝色顶点只计算和橙色顶点的注意力系数。
作者在原文中GAT ARCHITECTURE这一节中写道"We inject the graph structure into the mechanism by performing masked attention—we only compute eij for nodes j ∈Ni, whereNi is some neighborhood of node i in the graph. "
显然作者在文中采用的是masked attention,DGL里实现的也是如此,以下的解读均基于这种方式。
2 GAT并不难懂
和所有的attention mechanism一样,GAT的计算也分为两步走:
2.1 计算注意力系数(attention coefficient)
对于顶点
解读一下这个公式:首先一个共享参数
显然学习顶点
有了相关系数,离注意力系数就差归一化了!其实就是用个softmax
要注意这里作者用了个
上面的步骤可以参考图2进行理解
![428d082bbfff0e7768fccaf6db7507a9.png](https://i-blog.csdnimg.cn/blog_migrate/a0329c1e4ea50263946281c9e439081a.png)
2.2 加权求和(aggregate)
完成第一步,已经成功一大半了。第二步很简单,根据计算好的注意力系数,把特征加权求和(aggregate)一下。
式(3)看着还有点单薄,俗话说一个篱笆三个桩,attention得靠multi-head帮!来进化增强一下
嗯,这次看起来就很健壮了,multi-head attention也可以理解成用了ensemble的方法,毕竟convolution也得靠大量的卷积核才能大显神威!
上面的步骤可以参考图3进行理解
![d138ed1039eafb6f08521e06d12eaba4.png](https://i-blog.csdnimg.cn/blog_migrate/f11bfa36ee4ade1c848ba5d30076cd7f.png)
3 谈几点深入的理解
3.1 与GCN的联系与区别
无独有偶,我们可以发现本质上而言:GCN与GAT都是将邻居顶点的特征聚合到中心顶点上(一种aggregate运算),利用graph上的local stationary学习新的顶点特征表达。不同的是GCN利用了拉普拉斯矩阵,GAT利用attention系数。一定程度上而言,GAT会更强,因为 顶点特征之间的相关性被更好地融入到模型中。
3.2 为什么GAT适用于有向图?
我认为最根本的原因是GAT的运算方式是逐顶点的运算(node-wise),这一点可从公式(1)—公式(3)中很明显地看出。每一次运算都需要循环遍历图上的所有顶点来完成。逐顶点运算意味着,摆脱了拉普利矩阵的束缚,使得有向图问题迎刃而解。
3.3为什么GAT适用于inductive任务?
GAT中重要的学习参数是
与此相反的是,GCN是一种全图的计算方式,一次计算就更新全图的节点特征。学习的参数很大程度与图结构相关,这使得GCN在inductive任务上遇到困境。
目前,我们团队利用GCN和GAT在交通预测领域有不少探索,欢迎感兴趣的朋友参考。如果有帮助,还希望可以引用我们的论文。
Multistep speed prediction on traffic networks: A deep learning approach considering spatio-temporal dependencieswww.mendeley.com- Zhang, Z., Li, M., Lin, X., Wang, Y., & He, F. (2019). Multistep speed prediction on traffic networks: A deep learning approach considering spatio-temporal dependencies.Transportation Research Part C: Emerging Technologies,105, 297-322.
- Ke Zhang, Fang He, Zhengchao Zhang, Xi Lin & Meng Li(2020)Graph attention temporal convolutional network for traffic speed forecasting on road networks,Transportmetrica B: Transport Dynamics,DOI:10.1080/21680566.2020.1822765