3D信息的分子图自监督表示学习 PRE-TRAINING MOLECULAR GRAPH REPRESENTATION WITH 3D GEOMETRY

原文地址：https://wyliu.com/papers/GraphMVP.pdf

摘要

• 分子图表示学习是现代药物和材料发现中的一个基本问题。
• 分子图通常由其二维拓扑结构来建模，但最近发现三维几何信息在预测分子功能方面起着更为重要的作用。
• 然而，现实场景中3D信息的缺乏严重阻碍了几何图形表示的学习。
• 为了应对这一挑战，我们提出了GraphMVP(Graph Multi-View Pre-Training)框架，该框架利用2D拓扑结构和3D几何视图之间的对应和一致性来执行自监督学习(SSL)。
• GraphMVP有效地学习了2D分子图形编码器，该编码器通过更丰富和更具区分性的3D几何来增强。
• 我们进一步提供了理论见解来证明GraphMVP的有效性。综合实验表明，GraphMVP在性能上始终优于现有的图SSL方法。

1 INTRODUCTION

• 如何用向量化嵌入来区分地表示分子仍然是药物发现中基本但开放的挑战。基本问题可以分解为两个部分
  1. 如何设计分子图的共同潜在空间（即，设计合适的编码器）
  2. 以及如何构造目标函数以监督训练（即，定义学习目标）。论文大致分为第二类，通过利用3D几何和2D拓扑之间的一致性来研究自监督分子表示学习。
• 受预先训练-微调流程的显著成功的启发，无监督预先训练的分子图形神经网络在下游任务中产生了良好的性能，并变得越来越受欢迎。
  • 预训练的关键在于找到一个有效的代理任务(即训练目标)来利用大型未标记数据集的能力。
  • 由于三维几何编码的能量知识可以更好地预测分子的性质，我们的目标是在预训练中利用分子的三维几何。然而，立体化学结构的获取通常非常昂贵，使得此类三维几何信息在下游任务中稀缺。为了解决这个问题，我们提出了GraphMulti-View预训练（GraphMVP）框架，其中2D分子编码器使用3D几何知识进行预训练，然后在没有3D信息的情况下对下游任务进行微调。在预培训期间，我们的学习范式将3D分子几何知识注入2D分子图编码器，这样即使没有3D信息可用，下游任务也可以受益于隐式3D几何。
  • 我们通过利用3D和2D分子图上的两个代理任务（pretext tasks）实现上述目标：一个对比SSL任务和一个生成SSL任务。
    1. 对比SSL任务在分子间水平上产生监督信号：如果3D和2D图形对来自同一分子，则为正，否则为负。然后对比SSL 会同时正的两个图形对 对齐，负的进行对比
    2. 另一方面，生成SSL以分子内的方式获得受监督信号:它学习一个2D/3D表示，可以为每个分子本身重建其3D/2D对应视图。
  • 为了解决分子三维和二维空间重构质量的度量问题，我们进一步提出了一种新的替代目标函数——变异表示重构(VRR)，它可以有效地计算连续表示空间中的分子三维和二维空间重构质量。这两个SSL任务所获得的知识是互补的，因此我们的GraphMVP框架将它们整合在一起，形成更具甄别性的2D分子图表示。从经验上看，一致的性能改进验证了GraphMVP的有效性
  • 我们给出了额外的见解来证明GraphMVP的有效性。首先，GraphMVP是一种基于最大化3D和2D视图之间的互信息(MI)的自监督学习方法，使学习后的表示能够捕获分子数据中的高阶因子。其次，我们发现三维分子几何结构是一种privileged information（隐藏信息）的形式。事实证明，在训练中使用privileged information可以加快学习速度。我们知道，privileged information只用于训练，而不能用于测试。使用3D几何预训练分子表征完全符合我们的直觉。
• 贡献：
  1.  第一个将3D几何信息整合到图形SSL中
  2. 提出了一个对比和一个生成的SSL任务用于预训练。阐述了它们之间的差异，并通过实证验证了两者的结合可以带来更好的代表性
  3. 提供了理论见解和案例研究，证明为什么添加三维几何信息是有益的
  4. 在所有SSL基线中实现了SOTA性能
• 相关工作
  • 自监督学习（SSL）方法已经引起了图形应用的广泛关注。一般来说，图SSL大致有两类：对比型和生成型，它们在监督信号(supervised signals)的设计上有所不同
    • 对比图SSL在在图间构造监督信号，并通过与其他图的对比来学习表示
    • 生成图SSL侧重于在图内重构原始图
  • 将我们的工作与现有方法区分开来的一个最重要的区别是，以前的所有方法都将重点放在二维分子拓扑上。然而，对于分子性质预测等科学任务，应结合3D几何，因为它提供了补充和全面的信息。为了填补这一空白，GraphMVP在图形自我监督预训练中利用3D几何。

2 PRELIMINARIES

• 自监督学习(SSL)基于视图（view）设计，每个视图提供数据的特定方面和形式。每个分子都有两个自然视图
  • 2D图包含由邻接定义的拓扑结构，而3D图可以更好地反映几何和空间关系
  • 从化学角度来看，3D几何图形专注于能量，而2D图形强调拓扑信息
  • 因此，他们可以组成学习更多的信息表示在GraphMVP。转换(Transformation)是SSL中的一种原子操作，可以从每个视图中提取特定信息
• 2D分子图：以原子为节点，以键为边。
  • 𝑔2𝐷=𝑋, 𝐸, 𝑋是原子属性矩阵，𝐸是键属性矩阵(此外还包括连接连接性)
  • 𝑇2𝐷为2D拓扑图的转换函数，图𝑔2𝐷的表征h2𝐷可表示为
    • h2𝐷=GNN-2D𝑇2𝐷𝑔2𝐷=GNN-2D𝑇2𝐷𝑋,𝐸
• 3D分子图：额外添加了原子的空间位置，它不需要是静态的，因为原子在势能面上是连续运动的，该曲面上局部极小处的三维结构称为构象，由于分子性质是构象集成的，GraphMVP为采用3D构象来学习更好的表示提供了一个新的视角
  • h3𝐷=𝐺𝑁𝑁−3𝐷𝑇3𝐷𝑔3𝐷=𝐺𝑁𝑁−3𝐷𝑇3𝐷𝑋,𝑅,  𝑅为三维坐标矩阵
• 记号表示：𝒙=𝑔2D,   𝒚=𝑔3𝐷,    h2𝐷=h𝒙,    h3𝐷=h𝒚

3 GRAPHMVP: GRAPH MULTI-VIEW PRE-TRAINING

• 三维构象编码了丰富的关于分子能量和空间结构的信息，这些信息与二维拓扑结构是相辅相成的。因此，在3D和2D视图之间应用SSL将提供更好的2D表示，使其隐式嵌入分子的能量和几何信息集合

3.1 OVERVIEW OF GRAPHMVP

• GraphMVP中的预训练阶段概述。黑色虚线圆圈表示子图masking，我们在2D和3D结构中mask相同的区域。分子的多个视图通过2D和3D GNN模型映射到表示空间，在那里我们使用对比和生成代理任务进行GraphMVP的SSL预训练。
• GraphMVP的两个阶段：预训练和微调
  • 在预训练中，通过辅助任务对提供3D和2D分子结构的数据收集进行SSL。
    • 一个是对比任务，一个是生成性任务。我们推测，这两项任务侧重于不同的学习方面，并归纳为以下两点。
      1. 从表征学习的角度来看，对比式SSL是从内部数据学习，生成性SSL是通过内部数据学习。对于对比型SSL，一个关键步骤是从数据间获取负视图对进行对比；而生成型SSL关注的是每个数据点本身，通过在数据内部重构关键特征来实现。
      2. 从分布学习的角度来看，对比式SSL和生成式SSL分别从局部和全局的角度学习数据分布。
    • 对比SSL通过在数据间级别对比成对距离来学习局部分布。因此，在有足够数量的数据的情况下，局部对比运算可以迭代地恢复数据分布。另一方面，生成式SSL直接学习全局数据密度函数。
    • 因此，对比和生成SSL本质上是用不同的直觉和学科进行表示和分布学习，我们期望将这两者结合起来可以得到更好的表示。我们后来进行了消融研究（第4.4节），以经验验证这一点。另外，为了使代理任务更具挑战性，我们通过随机掩蔽节点（和相应的边）作为转换函数，即𝑇2𝐷=𝑇3𝐷=𝑚𝑎𝑠𝑘来查看每个分子。这种trick已被广泛用于图形SSL，并显示出强大的改进。
  • 在微调期间，预先训练的2D GNN模型随后在特定的下游任务上进行微调，其中通常只有2D结构可用。

3.2 CONTRASTIVESELF-SUPERVISED  LEANING BETWEEN 3D AND 2D VIEWS

• 首先从内部数据层面定义正面和负面的视图对，然后同时对正对和反对进行对齐和对比
  • 对于每个分子，首先从3D和2D视图中提取表示h𝒙,  h𝒚
  • 然后，创建用于对比学习的正对和负对：同一分子的3D-2D对(𝒙，𝒚)被视为正，否则被视为负
  • 最后，将正向对齐，并将负向对进行对比
• 对比图SSL上的两个常见目标函数
  • InfoNCE, 它的有效性已经在经验和理论上得到验证。其具体表述如下：
    • 其中𝒙𝑗, 𝒚(𝑗)是锚定对(𝒙,𝒚)随机采样的3D和2D视图。𝑓𝒙𝒙,𝒚𝑓𝒙𝒙,𝒚是两个对应视图的打分函数，其表达式可以相当灵活
    • 这里使用𝑓𝒙(𝒙,𝒚) =𝑓𝒚(𝒚,𝒙) = 𝑒𝑥𝑝(<h𝒙, h𝒚>)
  • Energy-Based Model with Noise Contrastive Estimation (EBM-NCE)，它的意图本质上与InfoNCE相同，对正对进行对齐，对负对进行对比，但主要的区别在于对负采样使用了二进制交叉熵和额外噪声分布
    • 𝑝𝑛为噪声分布， 𝜎为sigmoid函数
    • EBM-NCE的最终公式与Jensen-Shannon估计(JSE)有某些相似之处，但是，推导过程和隐含的直观是不同的:EBM- NCE用EBM模型MI下界中的条件分布，而JSE是f-divergence的变分估计的一种特殊情况。由于这不是GraphMVP的主要关注点，我们在附录d中展开了更全面的比较，并添加了EBM-NCE的一些潜在好处
  • 很少有工作证明了在图对比SSL中目标选择的影响，因此在GraphMVP中，我们将它作为一个超参数，并进一步运行它们，即只使用InfoNCE (𝐿𝐶=𝐿𝐼𝑛𝑓𝑜𝑁𝐶𝐸)或EMB-NCE (𝐿𝐶=𝐿𝐸𝐵𝑀−𝑁𝐶𝐸)

3.3 GENERATIVE SELF-SUPERVISED LEARNING BETWEEN 3D AND 2D VIEWS

• 生成SSL是无监督预训练的另一个经典任务。它的目标是通过重建每个数据点本身来学习一个有效的表示。具体到药物发现，我们有一个二维图，每个分子有一定数量的3D构象，我们的目标是学习一个健壮的2D/3D表示，在最大程度上，可以恢复其3D/2D对应物。通过这样做，生成SSL可以强制2D/3D GNN编码最内在的几何/拓扑信息，这可以从逻辑上提高下游性能。
• 生成模型有很多选择，包括变分自动编码器(VAE)，生成对抗网络(GAN)，基于流的模型等。在GraphMVP中，更倾向于VAE-like方法，原因如下
  • 两个分子视图之间的映射是随机的:多个三维构象对应同一个二维拓扑
  • 下游任务需要明确的二维图表示(即特征编码器)
  • 图等结构化数据的解码器往往设计复杂、设计困难，是次优选择
• Variational Molecule Reconstruction（变分分子重建）
  • 因此，我们提出了类似于VAE的生成式SSL，并配备了巧妙的代理丢失，我们将在下面描述它。以一个方向为例，当从相应的2D拓扑生成3D构象时，我们想要建模条件似然𝑝(𝒚|𝒙)。通过引入一个建议分布𝑧𝒙  ~ 𝑁(𝑧𝒙;h𝒙, 𝜎2𝐼)，我们得到了条件似然的下界:
  • 表达式类似于𝑙𝑜𝑔𝑝(𝒙|𝒚)。上述目标由条件对数似然和KL散度组成，其中的瓶颈是计算结构化数据的第一项。这个术语也被认为是重建术语:它本质上是从采样的二维分子图形表示(𝑧𝒙)重建三维构象(𝒚)。然而，在数据空间上进行图重构并不容易，因为分子(如原子和键)是离散的，在分子空间上进行建模和测量会带来额外的障碍
• Variational Representation Reconstruction(变分表示重建， VRR)
  • 为了应对这一挑战，我们提出了一种新的替代损失方法，即将重构从数据空间转移到表示空间。我们不需要将潜在的编码解码到数据空间，而可以直接将其投影到三维表示空间，表示为𝑞𝒙(𝑧𝒙)。由于表示空间是连续的，我们也可以用高斯分布的条件对数似然模型，从而得到L2的重构距离，即𝑞𝒙𝑧𝒙−𝑆𝐺h𝒚𝒚2。这里SG是stop-gradient的缩写，假设它是一个固定的学习表示函数，这在SSL文献中被广泛采用。我们将这种代理损失称为VRR，并将其视为生成SSL损失:
  • 正如将在第5.1节中讨论的那样，VRR实际上是最大化MI, MI对于连续双目标函数是不变的。因此，如果编码函数满足此条件，则代理项损失是准确的。然而，我们发现GNN虽然不满足条件，但可以提供相当稳健的性能，这证明了VRR的有效性

3.4 MULTI-TASK OBJECTIVE FUNCTION

• 如前所述，对比性SSL和生成性SSL本质上是从不同的角度学习表示。一个合理的推测是，结合这两种SSL方法可以带来更好的整体性能，因此我们为GraphMVP实现了以下完整目标的最小化
• 其中𝛼1， 𝛼2为权重系数。随后进行的消融研究(第4.4节)提供了两个重要的信息
  1. 3D构象上的个体对比SSL和生成SSL都可以持续帮助提高2D表征学习
  2. 结合这两种SSL策略可以产生进一步的改进。因此，我们得出结论，GraphMVP能够充分利用三维信息获得增广的二维表示。
• 如第1节所述，现有的图SSL只关注2D拓扑，这与GraphMVP是并行的：2D图SSL关注于利用2D结构拓扑，而GraphMVP利用3D几何信息。因此，我们建议将2D SSL合并到GraphMVP中。由于二维图SSL中主要有两种类型:生成型和对比型，因此我们相应地提出了两种变体GraphMVP-G和GraphMVP-C。它们的目标如下:
• 随后，实证结果也有助于支持GraphMVP- G和GraphMVP- C的有效性，因此，我们可以得出现有的2D SSL是对GraphMVP的补充

4 EXPERIMENTS AND RESULTS

4.1 EXPERIMENTALSETTINGS

• 数据集：GEOM，同时具有2D和3D结构
• 构象集合更能反映分子性质，因此我们取每个分子的构象集合。对于下游任务，我们首先坚持主图SSL工作的相同设置，探索8个二元分子性质预测任务，这些任务均处于低数据状态。然后，我们从不同的低数据域探讨了6个回归任务，我们在附录F中描述所有的数据集。
• 2D GNN。我们遵循SSL在分子图上的研究路线[38,90,91]，使用相同的图同构网络(GIN)[87]作为主干模型，具有相同的特征集。
• 3D GNN。我们选择SchNet[68]进行几何建模，因为SchNet:(1)被发现是一种较强的几何表示学习方法，具有fairbenchmarking;(2)可以更有效地训练，相比其他最近的3D模型。我们在附录b .2中提供了详细信息。

4.2 MAIN RESULTS ON MOLECULAR PROPERTY PREDICTION

• 对10个SSL基线和随机初始化进行了全面的比较。对于预训练，我们在基于GEOM的相同数据集上应用所有SSL方法。对于微调，我们采用相同的设置，8个低数据分子属性预测任务。
• 基线。由于graph SSL的快速增长，我们只能对最知名、同行评审的基线进行基准测试:EdgePred， InfoGraph， GPT-GNN， AttrMask & ContextPred, GraphLoG， G-{Contextual, Motif}， GraphCL， JOAO。
• 方法。GraphMVP有两个关键因素:i)mask比例(M)和ii)每个分子的构象数(C)。我们默认设置M= 0.15和C= 5，并将在接下来的消融研究中探索它们的影响，见第4.3节。对于EBM-NCE损失，我们采用经验分布的噪声分布。对于公式(8)，我们选择了经验上最优的生成和对比2D SSL方法:即GraphMVP-G的AttrMask和GraphMVP-C的ContextPred。
• 观察到，GraphMVP的性能明显优于随机初始化的方法，平均性能也大大优于现有的SSL方法。此外，GraphMVP-G和GraphMVP-C不断提高性能，支持以下说法:3D几何是2D拓扑的补充。GraphMVP利用3D构象和2D拓扑之间的信息，2D SSL作为正则化器，提取更多的2D拓扑信息;它们从不同的角度提取信息，确实是相互补充的。

4.3 ABLATION STUDY: THE EFFECT OF MASK IN GRATIO AND NUMBER OF CONFORMERS(构象)

• 我们分析了掩蔽率和构象数对GraphMVP的影响。在表1中，我们将theMas设为0.15，因为它已经在现有的SSL方法中被广泛使用，而C设为5，我们将在下面解释。我们考察m∈{0,0.15,0.3}和C∈{1,5,10,20}的范围，并报告平均性能。完整的结果在附录g .2中。
• 从表2中可以看出，从M= 0(原始图)到M= 0.15比从M= 0.15到M= 0.3的改善更为明显。这可以解释为，更大比例的子图屏蔽将使SSL任务更具挑战性，特别是与原始图(M= 0)相比。
• 表3显示C的效果。我们观察到，当添加更多的同构体时，性能通常会更好，但在某些阈值以上会达到一个平台期。这一发现与之前的研究结果相吻合:添加更多的同构物来增强表征学习并没有预期的那么有帮助;而我们的结论是，添加更多的构象可能是有益的，几乎没有改善。一个可能的原因是，当生成数据集时，我们取样的是具有最高可能性和最低能量的top- c 构象。换句话说，前5个构象足以覆盖大多数平衡态构象(超过80%)，因此较大的C的影响不大
• 综上所述，增加更多的一致性可能是有帮助的，但计算成本会随着数据集大小的增加而线性增长。另一方面，增大掩蔽比不会带来额外的成本，但性能略好。因此，从效率和有效性的角度出发，我们鼓励在尝试更多的构象之前调整掩蔽比。

4.4 ABLATION STUDY: THE EFFECT OF OBJECTIVE FUNCTION

• 在第3节中，我们引入了一个新的对比学习目标族，称为EBM-NCE，我们将InfoNCE和EBM-NCE作为对比损失。对于生成型SSL任务，我们在式(6)中提出了一个新的目标函数，称为变分表示重建(VRR)。如第3.3节所讨论的，由于GraphMVP可以捕获每个二维分子图的构象分布，因此随机性对GraphMVP非常重要。为了证实这一点，我们通过去除VRR中的随机性来增加表征重建(RR)的消融研究。因此，我们在这里部署了一个消融研究，以探讨每个个体目标函数(InfoNCE, EBM-NCE, VRR和RR)的影响，然后是它们之间的成对组合。
• 表4的结果提供了一些建设性的见解，如下:(1)每个单独的SSL目标函数(中间块)可以导致更好的性能。这加强了添加3D信息有助于2D表示学习的主张。(2)结合这些SSL目标函数(底部块)，同时添加对比SSL和生成SSL可以持续提高性能。这验证了我们的声明，即在数据间和数据内级别执行SSL是有益的。(3)我们可以看到VRR在所有设置下均优于RR，验证了随机性是分子三维构象建模的重要因素。

4.5 BROADERRANGE OFDOWNSTREAMTASKS

• 到目前为止讨论的8个二元下游任务已被广泛应用于分子的SSL图研究线[38,90,91]，但还有更多的任务需要三维构象。在这里，我们测试了4个额外的回归属性预测任务和2个药物靶标亲和任务。
• 关于数据集统计，更详细的信息可以在附录 F中找到，我们也可以在这里简单描述一下任务。药物靶标亲和力(DTA)是药物发现中的一项关键任务，它可以对分子药物和蛋白质靶标进行建模，目的是预测
• 表5:四个分子性质预测任务(回归)和两个DTA任务(回归)的结果。我们报告了3个具有支架分裂的种子对下游任务分子性质的平均RMSE，以及3个具有DTA任务随机分裂的种子的平均MSE。对于GraphMVP，我们设置M = 0.15, C = 5。每项任务的最佳表现都用黑体标出。我们在这里省略std，因为它们很小，难以区分。完整的结果请查看附录G.4。
• 最近的一项工作是利用卷积神经网络(CNN)用2D GNN和靶蛋白(作为氨基酸序列)对分子药物进行建模。我们使用GraphMVP对2D GNN进行预训练，采用了这种设置。如表5所示，一致的性能增益验证了我们提出的GraphMVP的有效性。

4.6 CASE STUDY

• 我们研究了GraphMVP如何在任务目标与2D拓扑有关但使用3D几何简单时提供帮助(如图2所示)。因此，我们设计了两个案例研究，以证明GraphMVP如何将知识从3D几何学转换到2D表示。
• 第一个案例研究是3d直径预测。对于分子来说，通常二维直径越长，三维直径越大(最大的原子对l2距离)。然而，这并不总是正确的，我们感兴趣的是使用2D图来预测3D直径。第二个案例研究是远程供体-受体检测。分子具有一种特殊的几何结构，称为给体-受体键，我们想用二维分子图来检测这种特殊的结构。我们验证了GraphMVP持续地为这两个案例研究带来改进，并在附录G.6中提供了更详细的讨论和解释。
• 图2:我们选择了可以通过3D而不是2D轻易分辨性质的分子。随机初始化的2D GNN的精度分别为38.9±0.8和77.9±1.1。GraphMVP预训练组的得分分别为42.3±1.3和81.5±0.4，优于第4.2节中的所有先例。我们绘制了随机初始化失败的情况，但GraphMVP是正确的。

5 THEORETICAL INSIGHTS

5.1 MAXIMIZING MUTUAL INFORMATION

• 互信息(MI)度量两个随机变量之间的非线性相关性:MI越大，变量之间的相关性越强。因此，对于GraphMVP，我们可以将其解释为最大化3D和2D视图之间的MI:通过与3D/2D视图共享更多信息，获得更健壮的2D/3D表示。这也符合样本复杂性理论，其中SSL作为函数正则化器可以减少表示学习中的不确定性。我们首先推导MI的下界(参见附录C中的推导)，以及相应的目标函数𝐿𝑀𝐼
• 对比SSL。InfoNCE被初始化以直接最大化MI。在GraphMVP中，EBM-NCE使用EBM估计的条件似然，并使用NCE求解。因此，EBM-NCE也可以被视为在3D和2D视图之间最大化MI。详细的推导可以在附录d .2中找到。
• 生成SSL。一种可选的解决方案是使用变分下界来近似方程(9)中的条件对数似然项。然后我们可以按照第3.3节中的相同管道，以替代目标结束

5.2 3D GEOMETRY AS PRIVILEGED INFORMATION(隐藏信息)

• 我们展示了激发GraphMVP的特权信息的理论见解。我们首先考虑一个监督学习设置，其中(𝑢𝑖,𝑙𝑖)是一个特征-标签对，而𝑢𝑖∗是隐藏信息。隐藏信息被定义为关于输入(𝑢𝑖,𝑙𝑖)的附加信息，以支持预测。例如，𝑢𝑖可能是特定疾病的某些CT图像，𝑙𝑖可能是疾病的标签，而𝑢𝑖∗是医生的医疗报告。VC理论通过算法的容量和训练数据量来表征算法的学习速度。考虑具有有限vc维VCD(F)的函数类F的一个二进制分类器。对于概率1−𝛿，期望误差的上界为
• 式中，𝑅𝑛(𝑓)为训练误差，为训练样本个数。当训练数据是可分离的，则𝑅𝑛(𝑓)减小到0，𝛽 = 1。当训练数据不可分离时，𝛽值为12。因此，可分离情形的收敛速度是阶1/𝑛。相反，不可分情况下的速率是1/𝑛。我们注意到这种差异是巨大的，因为相同的边界顺序需要多达100个训练样本，而不是10,000个样本。特权信息使训练数据可分离，从而使学习更有效。将结果与GraphMVP联系起来，我们注意到分子的三维几何信息可以被视为一种特权信息的形式，因为三维信息可以有效地使分子在某些性质上更加可分离。此外，隐藏信息只在训练中使用，它很好地匹配了我们使用3D几何进行预训练。事实上，使用三维结构作为特权信息在蛋白质分类中已经显示出相当有用的作用，这为证明三维信息在预训练中的有效性提供了有力的证据。

6 CONCLUSION ANDFUTUREWORK

• 在这项工作中，我们提供了一个非常通用的框架，即GraphMVP。从领域的角度来看，GraphMVP
  1. 是第一个结合3D信息来增强2D图表示学习的
  2. 能够通过考虑建模中的随机性来利用3D构象
• 从技术创新的角度来看，GraphMVP在引入2个SSL任务时带来了以下见解:
  1. GraphMVP提出了EBM- NCE和VRR，分别使用EBM和变分分布对条件分布建模。
  2. EBM- nce与JSE相似，虽然我们从一个不同的推导和数学直觉的方向开始，但EBM在这一领域开辟了另一个有前景的场所。
  3. VRR作为一种生成型SSL方法，能够缓解分子生成中潜在的问题[22,93]。
  4. 最终，GraphMVP结合了对比SSL (InfoNCE或EBM- NCE)和生成SSL (VRR)作为目标函数。实证结果(14个下游数据集的可靠性能改进)和理论分析都可以有力地支持上述领域和技术贡献
• 我们想强调的是，GraphMVP是与模型无关的，并且有潜力扩展到许多其他低数据应用程序。这为未来的探索提供了广阔的方向，包括但不限于:(1)更强大的3D和2D分子表示方法。(2)不同于小分子的应用领域，例如:像蛋白质这样的大分子。