ICLR 2020 | 图表示的预训练策略

©PaperWeekly 原创 · 作者｜张笑

单位｜成都数联铭品

研究方向｜图表示和知识挖掘

背景

在图像和自然语言处理领域，预训练和微调的模式取得较大成功，图表示模型的预训练方法还在起步阶段，其不仅需要增加前置的任务，同时还需要专业知识选择出与下游任务相关性强的样本和任务，再进行训练。否则很有可能出现反效果（类比于原始 BERT，NSP 任务实质上效果有限）。

动机

这篇论文考察的是生物化学领域，再具体点是分子结构和蛋白质结构。分子、蛋白质较容易获得独立的结构，同时它们都是限个小元素的排列组合而成，并且每个子结构的研究也比较丰富，比如元素周期表，化学键，蛋白质的多肽结构，子结构的初级功能也有一定的研究（分子的性质，合成分子性质的假设实验，蛋白质控制细胞凋亡和增殖等），有较丰富的整图级的预训练任务。

需要说明的是，本文的样本是多个独立的小结构，不同于社交网络或者用户-商品这类图谱（连通网络非常大）。所以对后者，仍然需要重新设计抽取小结构以及设置小结构任务的方案。针对这篇文章，下文将 graph-level 称为整图级。

本文主要工作在设计节点级别的预训练方案，补充整图级别预训练策略；实验发现，两类策略分开进行预训练，对下游任务的提升有限，甚至有时会起到反效果。

直观来说，作者想让节点的编码可以根据类别分开（类比原子的种类），同时不同功能的整图编码（整图中各节点编码的聚合 pooling）也能够分开，即达到上图