干货！权衡偏差和方差的近似最优图神经网络邻接点采样器

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

张庆儒：

2020年获得上海交通大学学士学位，现为佐治亚理工计算机系在读二年级博士生，曾在ICLR, NeurIPS发表多篇论文，他的主要研究方向为图数据与序列数据上的算法设计与理论分析。

内容简介

图神经网络在图相关的应用中取得了很好的表现，但随着工业界数据集规模的不断扩张，全部邻接点上的图卷积操作在计算上变得不可拓展。先有的工作现后提出了一些邻接点采样算法来解决这个问题，但他们大多缺乏可靠的理论保证，同时也仍会有很高的采样方差。在这篇文章中，我们将GNN的邻接点采样问题公式化为多臂老虎机问题(Multi-Armed Bandit, MAB)，我们提出同时考虑采样偏差与方差，从而达到一个更好的权衡。通过显式地研究GNN巡练的动态方程，我们证明了提出的算法理论上可以达到接近最有的采样误差。

1

Background

Graph Convolution:图卷积操作由以下公式给定

Graph Convolution会根据给定的根节点v，将所有节点的weighted embedding加权到一起作为自己下一层的weighted embedding。

Notations:

Neighbor Sampling:

在大多数的sampling算法中，都会使用static policy，即pi,t是固定的。

•  The optimal