点击上方,选择星标或置顶,每天给你送干货!
作者丨superbrother 专栏 | 精通GCN全攻略 整理 | 机器学习算法与自然语言处理 https://zhuanlan.zhihu.com/c_1131513793020334080阅读大概需要9分钟
跟随小博主,每天进步一丢丢
0 GRAPH ATTENTION NETWORKS的诞生
随着GCN的大红大紫(可以参考如何理解 Graph Convolutional Network(GCN)?),graph领域的deep learning研究可谓变得风生水起,人工智能又出现了新的网红。GCN在一系列任务取得了突破性进展的同时,一系列的缺点也逐渐被放大。 深度学习三巨头”之一的Yoshua Bengio组提出了Graph Attention Networks(下述简称为GAT)去解决GCN存在的问题并且在不少的任务上都取得了state of art的效果(可以参考机器之心:深入理解图注意力机制的复现结果),是graph neural network领域值得关注的工作。1 聊点基础
登堂入室之前,先介绍三点基础问题。 1.1 Graph数据结构的两种“特征” 当我们说起graph或者network的数据结构,通常是包含着顶点和边的关系。研究目标聚焦在顶点之上,边诉说着顶点之间的关系。 对于任意一个顶点 ,它在图上邻居 ,构成第一种特征,即图的结构关系。 当然,除了图的结构之外,每个顶点还有自己的特征 (通常是一个高维向量)。 它可以使社交网络中每个用户的个体属性;可以是生物网络中,每个蛋白质的性质;还可以使交通路网中,每个交叉口的车流量。 graph上的deep learning方法无外乎就是希望学习上面的两种特征。 1.2 GCN的局限性 GCN是处理transductive任务的一把利器(transductive任务是指:训练阶段与测试阶段都基于同样的图结构),然而GCN有两大局限性是经常被诟病的: (a)无法完成inductive任务,即处理动态图问题。 inductive任务是指:训练阶段与测试阶段需要处理的graph不同。通常是训练阶段只是在子图(subgraph)上进行,测试阶段需要处理未知的顶点。(unseen node) (b)处理有向图的瓶颈,不容易实现分配不同的学习权重给不同的neighbor。 这一点在前面的文章中已经讲过了,不再赘述,如有需要可以参考下面的链接。https://zhuanlan.zhihu.com/p/72373094
1.3 Mask graph attention or global graph attention 还有一件事件需要提前说清楚: GAT本质上可以有两种运算方式的,这也是原文中作者提到的Global graph attention
Mask graph attention
2 GAT并不难懂
和所有的attention mechanism一样,GAT的计算也分为两步走: 2.1 计算注意力系数(attention coefficient) 对于顶点 ,逐个计算它的邻居们( )和它自己之间的相似系数 解读一下这个公式: 首先一个共享参数 的线性映射对于顶点的特征进行了增维,当然这是一种常见的特征增强(feature augment)方法; 对于顶点 的变换后的特征进行了拼接(concatenate); 最后 把拼接后的高维特征映射到一个实数上,作者是通过 single-layer feedforward neural network实现的。 显然学习顶点 之间的相关性,就是通过可学习的参数 和映射 完成的。 有了相关系数,离注意力系数就差归一化了!其实就是用个softmax 要注意这里作者用了个 ,至于原因嘛,估计是试出来的,毕竟深度玄学。 上面的步骤可以参考图2进行理解 2.2 加权求和(aggregate) 完成第一步,已经成功一大半了。 第二步很简单,根据计算好的注意力系数,把特征加权求和(aggregate)一下。 就是GAT输出的对于每个顶点 的新特征(融合了邻域信息), 是激活函数。 式(3)看着还有点单薄,俗话说一个篱笆三个桩,attention得靠multi-head帮! 来进化增强一下 嗯,这次看起来就很健壮了,multi-head attention也可以理解成用了ensemble的方法,毕竟convolution也得靠大量的卷积核才能大显神威! 上面的步骤可以参考图3进行理解3 谈几点深入的理解
3.1 与GCN的联系与区别 无独有偶,我们可以发现本质上而言: GCN与GAT都是将邻居顶点的特征聚合到中心顶点上(一种aggregate运算),利用graph上的local stationary学习新的顶点特征表达。不同的是GCN利用了拉普拉斯矩阵,GAT利用attention系数。一定程度上而言,GAT会更强,因为 顶点特征之间的相关性被更好地融入到模型中。 3.2 为什么GAT适用于有向图? 我认为最根本的原因是GAT的运算方式是逐顶点的运算(node-wise),这一点可从公式(1)—公式(3)中很明显地看出。每一次运算都需要循环遍历图上的所有顶点来完成。逐顶点运算意味着,摆脱了拉普利矩阵的束缚,使得有向图问题迎刃而解。 3.3为什么GAT适用于inductive任务? GAT中重要的学习参数是 与 ,因为上述的逐顶点运算方式,这两个参数仅与1.1节阐述的顶点特征相关,与图的结构毫无关系。所以测试任务中改变图的结构,对于GAT影响并不大,只需要改变 ,重新计算即可。 与此相反的是,GCN是一种全图的计算方式,一次计算就更新全图的节点特征。学习的参数很大程度与图结构相关,这使得GCN在inductive任务上遇到困境。方便交流学习,备注: 昵称-学校(公司)-方向,进入DL&NLP交流群。 方向有很多: 机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。 记得备注呦 推荐阅读: 【ACL 2019】腾讯AI Lab解读三大前沿方向及20篇入选论文 【一分钟论文】IJCAI2019 | Self-attentive Biaffine Dependency Parsing 【一分钟论文】 NAACL2019-使用感知句法词表示的句法增强神经机器翻译 【一分钟论文】Semi-supervised Sequence Learning半监督序列学习 【一分钟论文】Deep Biaffine Attention for Neural Dependency Parsing 详解Transition-based Dependency parser基于转移的依存句法解析器 经验 | 初入NLP领域的一些小建议 学术 | 如何写一篇合格的NLP论文 干货 | 那些高产的学者都是怎样工作的? 一个简单有效的联合模型 近年来NLP在法律领域的相关研究工作
让更多的人知道你“在看”