©原创作者 | 小欣
原标题:异步传播注意力图神经网络(APAN)简介,一种图神经网络时序模型在工业化场景上的实践探索
01 图神经网络在工业场景上的瓶颈
传统的图模型通常执行两个串行操作:首先是图查询,然后是模型推理,由于查询 k-hop 邻居的时间复杂度比较大,很多图算法在时序神经网络模型中无法执行快速推理,因此,极大地限制了图算法的工业化推广。
为了解决这个问题,来自上海交通大学的团队和蚂蚁金融的团队,联合提出了异步传播注意力图神经网络算法(APAN),该算法将模型推理和图计算解耦,使得图计算独立执行而不会影响模型推理的速度。
通过多次试验测试,在相同的环境下,模型推理的速度比传统方法提升了8.7倍。
下面来给小伙伴们做一下简单的介绍吧!
02 异步传播注意力神经网络(APAN)的算法介绍
图神经网络(GNN)是当前流流行的事物复杂网络关系的一种神经网络结构,通常由节点和边组成。G = { V,E} V代表图中节点的集合,E代表图中边的集合。
在实际应用中,如何对图形建模,并将数据表示为低维嵌入向量,已成为学者研究的关键问题。
到目前为止,大部分图神经网络的工作,如DeepWalk和SAGE,都是假定图本身是静态的,这就意味着图结构是固定的,且和时间是无关的。
然而,在大部分实际的生活场景中,图网络是动态的,节点和边可以随着时间变化而改变,甚至连节点的属性也会发生变化。
例如