干货！图神经网络及其自监督学习

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

图神经网络是2017年兴起的研究方向，主要作用是利用节点aggregate的方式将每个节点的其他的邻居的信息聚合到自己的节点。通过神经网络自动表征学习能力，来自动选取出最适合的节点表征以及边表征，从而处理一些下游任务。

本文提出了用于建模工业级规模异构图的异构图转换架构（HGT），针对三方面问题进行解决。

在处理图的异构性方面，使用节点和边特定类型的参数依赖，构建交互异构注意力，可以自动提取用于处理特定下游任务的元路径；在处理图的动态性方面，引入相对时间编码机制；在处理大规模的图数据方面，设计了mini-batch图采样算法——HGSampling。同时，还介绍了基于生成式任务的异构图图神经网络的预训练方式。

代码链接：https://github.com/acbull/pyHGT

嘉宾介绍

本期AI TIME PhD非常荣幸邀请到胡子牛博士为我们带来分享，主题为图神经网络及其自监督学习。

胡子牛，UCLA三年级博士生，在Yizhou Sun教授的实验室从事图机器学习的研究。主要研究方向是大规模异构图数据的图神经网络，以及运用图神经网络进行复杂的推理任务。

主要内容

01

异构图的应用场景

异构图是一种关系型图数据，它和普通图最大的不同之处在于异构图还包含点的类别、边表示的不同关系、节点的特征等，能表征更丰富的语义。

异构图有丰富的应用场景。在论文的表征中，节点类型有“论文”“作者”，边的类型有“写”“引用”。以及节点的类型——譬如“论文的所属会议”“作者所属的学校、机构”以及“论文从属的领域”。用异构图来处理这一类学术图谱数据，对于像Google Search或者Microsoft academic的学术论文的推荐，都有非常重要的作用。

同时，异构图在工业级的图数据里面应用也非常广泛——譬如推荐系统。微软office的推荐系统，会将所有的“邮件”“文件”“任务”“笔记”“消息”等，整理成同一个图；在典型的电商推荐系统里面，节点类型有用户和商品。 当然，如果考虑更细粒度的用户行为，还有“查询”“属性”“地点”等等。连接这些节点的边