「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和交流可能会让知识的传播更加有意义,从而产生更大的价值。
本期 AI Drive,我们邀请到腾讯微信事业群应用研究员陆元福,为大家解读其发表于 AAAI 2021 的最新工作。对本期主题感兴趣的小伙伴,1 月 28 日(周四)晚 7 点,我们准时相约 PaperWeekly B 站直播间。
直播信息
传统 GNN 预训练是一个两阶段的流程,即先在大规模图数据集上进行预训练,进而在下游数据上进行微调。但是,通过对两阶段优化目标的分析,我们发现这两个步骤之间是存在一些差异的,这一差异在一定程度上影响预训练模型的迁移效果。因此,在本文中,我们考虑如何缓解传统预训练和微调两个步骤之间差异,从而更好的实现知识迁移。
基于此,我们提出了一种自监督预训练策略,充分利用无标签的图数据,并在两个大规模数据集上取得了显著提升。同时,我们还发布了一个包含百万量级子图的大规模图数据,可用于图分类等任务。代码及数据已公开。
论文标题:
Learning to Pre-train Graph Neural Networks
论文链接:
https://yuanfulu.github.io/publication/AAAI-L2PGNN.pdf
代码链接:
https://github.com/rootlu/L2P-GNN
本次分享的具体内容有:
在传统的 GNN 预训练模型中,存在预训练和微调之间有差异的问题
为了缓解这一差异,我们提出了一种自监督的预训练模型
在两个大规模数据集上,所提出的模型取得了显著提升。
嘉宾介绍
陆元福 / 腾讯微信事业群应用研究员
陆元福,腾讯微信事业群应用研究员,硕士毕业于北京邮电大学计算机学院,主要研究方向:graph embedding、recommender systems 和 meta learning。目前以第一(学生)作者在 IEEE TKDE、KDD、AAAI 和 CIKM 等会议发表相关论文多篇。
直播地址 & 交流群
本次直播将在 PaperWeekly B 站直播间进行,扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后,嘉宾还将在直播交流群内实时 QA,在 PaperWeekly 微信公众号后台回复「AI Drive」,即可获取入群通道。
B 站直播间:
https://live.bilibili.com/14884511
合作伙伴
????
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关于PaperWeekly
PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。