斯坦福应智韬：Graph Neural Network Applications

不到现场，照样看最干货的学术报告！

嗨，大家好。这里是学术报告专栏，读芯术小编不定期挑选并亲自跑会，为大家奉献科技领域最优秀的学术报告，为同学们记录报告干货，并想方设法搞到一手的PPT和现场视频——足够干货，足够新鲜！话不多说，快快看过来，希望这些优秀的青年学者、专家杰青的学术报告 ，能让您在业余时间的知识阅读更有价值。

---

人工智能论坛如今浩如烟海，有硬货、有干货的讲座却百里挑一。AI未来说·青年学术论坛自 2019 年 1 月 19 日启动以来，论坛已连续举办十二期，累计吸引上万人报名参加，报名群体遍布全国三十多个省份，境内外十三个国家，四百余所高校和科研院所。 第十二期AI未来说·青年学术论坛（百度奖学金博士生特别专场）已于2020年1月5日下午在北京市百度科技园 K6 报告厅举行。斯坦福应智韬为大家带来报告《Graph Neural Network Applications：Recommendation, Sciences and Beyond》。

应智韬全场报告视频

应智韬，Stanford大学第四年PhD学生，师从Jure Leskovec。主要研究方向是在各类网络结构上的机器学习算法。

报告内容：图神经网络在推荐系统、化学和物理学等领域的应用，以及图神经网络在可解释性方面的研究。

Graph Neural Network Applications: Recommendation, Sciences and Beyond

应智韬博士的报告分享主要包括图卷积神经网络的推荐系统（社交）、目标导向的生成（化学）、动态模拟（物理学和算法）以及可解释性等四个部分。

应智韬博士首先引用其导师Jure Leskovec的话“网络结构是一种描述和建模复杂系统的通用语言”作为开场，阐述了算法通用性的重要性，并引出了本场报告的主题——图神经网络。图结构的数据会以多样的形式出现在我们生活中的方方面面，比如社交网络，经济网络（公司之间的交互网络），生物医学网络（药物和疾病之间的关系网络），信息网络（文档之间的引用网络），互联网以及生物的神经网络等。

然后介绍了图卷积神经网络在推荐系统中的应用。先介绍了pin和board的概念，pin是来源于互联网上的可视化书签，可以是图像、文本或链接，而board是pins的集合（类似于收藏夹）。推荐系统可以视为用户和商品（items）之间的交互。用户使用items来构建集合，比如看电影，购买商品以及听音乐等行为中相关的items。然后可以通过用户和items交互的历史纪录来预测用户可能喜欢的items。

推荐系统中包含很多挑战，首先是数据规模非常大，以Pinterest为例，大约包含20亿个items，几亿个用户，用户之间的交互也高达上百亿，传统的协同方法很难处理这么大规模的数据。其次，图是动态的，每时每刻都有新节点加入，这里的节点可以是用户或item。此外，每个节点都有丰富的特征信息，比如用户的各种属性和图像特征信息。图卷积神经网络是一种能更好地使用属性和图结构信息的方法，并接着介绍了具有代表性的GraphSAGE（NeurlIPS 2017）方法。

GraphSAGE可以描述为三个步骤：1）采样邻居节点；2）从邻居节点中聚合特征信息；3）用聚合的信息来预测图的上下文和标签。其基本原理是先平均从邻居节点的信息，并使用神经网络对邻居节点的平均信息进行处理，可以应用于二部图，输入特征包括pin的图像嵌入和board的元数据。训练的目标是使连续固定（pinned）的 pins 有相似的特征，使用 loss 为max-margin loss。

应智韬博士在介绍完GraphSAGE的工作之后，接着介绍了另一个推荐系统方面的代表工作PinSage(KDD 2018)。该工作包括3个关键创新点：1）使用即时（on-the-fly）图卷积算法，围绕特定的节点执行局部的图卷积算法；在训练时不需要整个图；在每一次迭代时，只有源节点的表达被计算。2）使用随机游走算法来构建卷积网络，在全部的邻居节点上执行卷积的操作是不可行的，因此如何选择一个节点的可执行卷积操作的邻居节点的集合成为了研究的关键问题；个性化的PageRank算法可以帮助解决这个问题；池的重要性，定义基于重要性的邻居节点，选出随机游走时访问频次最高的前K个节点，然后对选择的节点执行池化操作，因为选出的节点不是必要的邻居节点。3）有效的 MapReduce 的推理策略，自底向上的节点表达的聚合策略适用于MapReduce，在MapReduce中可以把在所有节点上的聚合的每一步分解为三个操作，即map、join和reduce；可以避免重复的计算。此外，其他的创新点包括使用难负样本采样提升性能和使用个性化的PageRank近似的算法。接着，又介绍了PinSAGE的定量和定性的结果，在Hit rate和MRR等指标上都取得了大幅的提升。

接着，介绍了图卷积神经网络在化学制药方面的应用。以是否可以学习一个模型来生成有效、真实的和具备较好的化学性质的分子的问题作为引入，引出了可以把分子结构视为异质图结构的方法。在分子的异质图结构中，每一个节点代表一个原子，可以是碳原子、氮原子、氧原子等，边代表单键、双键等化学键。基于此种假设，我们可以通过图卷积神经网络来进行计算，通过优化一个给定的目标（比如药物相似性），遵循潜在的规则（比如化学有效性规则），通过真实的数据样本（模拟分子图结构的数据集）对模型进行训练，经过不断地优化迭代，可以生成适合作为药物的分子。

常用的训练方法是强化学习加图卷积神经网络的方法，就是通过智能体（agent）想要创造一个新的分子，可能执行的动作（action）是添加一个原子，或者在两个原子之间创造一个化学键，然后环境（environment）会有一些反馈（feedback），有些化学结构是不能成立的，并通过score值来反应生成的分子结构是否合理，通过反馈来进行强化学习的训练，执行动作的过程当中使用图卷积神经网络获得的特征表达。并以GCPN (NeurIP