读文献 KPGT: Knowledge-Guided Pre-training of Graph Transformer for Molecular Property Prediction

随手写一下阅读笔记

目录

文章先讨论了自监督学习的问题：

一是预训练任务定义不合理：

二是模型容量有限：

为此，提出了KPGT来缓解上述问题：

分子线图：

路径编码和距离编码

LiGhT整体结构

Knowledge-Guided Pre-training Strategy 知识引导的预训练策略

---

本文做了什么：

1. 提出KGPT，一个新的自监督学习框架，由一个新的图结构transformer LiGHT和一个知识指引的预训练策略组成，以此减轻目前分子图结构强化学习中的问题，改进了在下游分子性质预测任务中的表现
2. 一系列测试，证明KGPT在某些分子性质预测任务上好用.

文章先讨论了自监督学习的问题：

一是预训练任务定义不合理

        预训练任务主要分为两种：生成式和对比学习。生成方法遵循NLP领域的掩蔽语言模型，例如BERT，通过掩蔽一部分分子图，例如，边、节点或子图，然后学习检索原始图。对比学习：无监督学习中，在没有标签的情况下，通过让模型学习哪些数据点相似或不同来学习数据集的一般特征。如：图像的对比学习

        现有分子图上的对比学习方法：进行节点替换、节点删除和边扰动等策略生成增广图，然后在嵌入空间中学习，将增广图与对应的原始分子图进行匹配。但是不同于图像增强(例如,缩放和旋转)，分子图的一个小的修改可以极大地改变了相应分子的特性。

——现有的对比学习方法不好，所以本文要用生成式

二是模型容量有限

        化学空间巨大，需要一个高容量的模型来捕获足够的信息。基于Transformer的模型已被证明在这些领域具有出色的预测性能，然而，将基于Transformer的结构应用于分子图的自监督学习的研究还很少。以往定义的分子图上的自监督学习方法大多采用图同构网络(Graph Isomorphism Network，GIN )等GNNs作为主干网络，模型容量有限，无法捕获预测分子各种性质所需的广泛信息。

——图神经网络容量有限，所以本文用Transformer

为此，提出了KPGT来缓解上述问题

• 提出了一种高容量的模型，命名为线图转换器(Line Graph Transformer，LiGhT )，它将分子图表示为线图，（强调化学键的重要性），同时引入了路径编码和距离编码，以准确地保留分子的结构信息。
• 设计了基于生成式自监督学习方案的知识规则引导预训练策略。而不是直接预测随机被屏蔽的节点它作为掩码图中丢失的语义来指导遮蔽的节点的预测。

具体创新点有三：

分子线图

	分子图	分子线图
点	原子	键
边	键	（键的共用原子关系）
子图	官能团	？

分子线图——强调了化学键的作用

图结点Transformer：（以针对节点node的transformwer为例，针对边edge的结构和它类似）从图结构的“结点”中提取Q、K、V向量

• Self-Supervised Graph Transformer on Large-Scale Molecular Data

本文模型用的依然是结点的特征

路径编码和距离编码

路径编码——图结构中的“最短路径”问题 ，使用dijkstra算法计算

• Exploring Network Structure, Dynamics, and Function using NetworkX

距离编码——原子之间的“距离”?

👈这是本文中给出的公式，下面是两篇本文的参考文献原文，对“距离编码”的定义似乎不一致

这里用的还是distance of path 也就是最短路径而不是距离。。

• Do Transformers Really Perform Bad for Graph Representation?

另一篇参考文献用到的是原子之间的距离，使用RDKit库计算得到

• Molecule Attention Transformer

        个人认为第二篇的定义更加合理，因为“路径编码”已经是最短路径了，如果路径编码和距离编码不重叠，距离编码应该指分子中原子的实际距离。

注意力矩阵

LighT模型整体结构

Knowledge-Guided Pre-training Strategy 知识引导的预训练策略

        定义了知识结点(K结点)。它的原始特征由大量分子描述符（用来定量描述分子的物理化学性质，比如溶解度）和分子指纹 (使用一些字符串描述分子结构，指纹和分子一一对应) 初始化，并与分子线图的结点相连.（怎么连的？）