【阅读笔记】Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations

1 引言

非欧几里德结构化数据的自监督学习最近引起了广泛的兴趣，它能够从未标记的图数据中学习可推广、可转移和鲁棒性的表示。与图像、语音或自然语言不同，图形结构数据不是单态的，而是各种性质的抽象（例如社交网络、聚合物或电网）。然而，这种独特的异质性挑战在以前的自监督工作中没有得到充分解决。
现有方法的成功依赖于精心设计的具有领域专业知识的预测性借口任务（例如，上下文预测、元路径提取、图完成等），前提是指定的任务是所有数据集中通常有效的先验，而它并不总是得到保证，尤其是在提到的多样性上下文中。
最近出现的对比方法似乎没有设置借口，而借口以伪装的形式存在：需要构建适当的手工对比视图（例如全局-局部表示、扩散矩阵，γ-ego网络等），否则会导致性能下降。最先进的(SOTA)代表图对比学习(GraphCL)，甚至通过额外的人工工作来应对这一挑战:它通过经验法则或试错法，通过手动选择和应用每个数据集的预制增强操作在增强图上进行对比。因此，它根据不同的图数据集更加灵活，尽管成本更高，因为规则是通过使用下游标签进行冗长的调优得到的，并且构建在预制先验池(即现成的增强)之上。
我们帮助缩小差距的观点是将预制的自我监督先验转化为可学习的先验。直观地说，与坚持不变的先验相比，遵循数据驱动理念的可学习先验更具通用性，与手工从现成的先验中挑选相比，要求资源更少。在视频生成、压缩感知和贝叶斯深度学习中探索了学习先验。然而，据我们所知，在离散和不规则的图形数据结构中尚未探讨这一观点。

• 定义和追求可学习的自监督先验可以依赖的空间、原则和框架是什么？
  • 利用SOTA-GraphCL框架作为基础模型，我们创新性地将增强集中预制的离散先验扩展为可学习的连续先验，该先验由神经网络参数化，在对比训练期间自适应地动态地从数据中学习。
    （i） 先验空间由神经网络的参数空间决定，我们利用图生成模型进行参数化。
    （ii）采用信息最小化（InfoMin）和信息瓶颈（InfoBN）作为原则来正则化生成器优化。
    （iii）新方法为一个双层优化（框架）
• 拟议的组件简要总结如下：
  • 由图生成模型参数化的可学习先验函数，该模型可能能够很好地从数据中捕获图先验（见第3.1节）；
  • InfoMin和InfoBN的原理，用于在对比学习期间正则化发电机优化，避免崩溃的琐碎解决方案（见第3.2节）。

本文贡献：
（i）我们首次尝试将可学习先验与图形神经网络相结合，在有指导意义的先例假设下进一步利用丰富数据的力量；
（ii）我们在自适应和自动化方面学习，这不仅需要很少的人力来预制先验，即增强函数，但也以数据驱动、灵活和有原则的方式在自我监督过程中学习这些知识。这对于根据图多态性挑战实现更好的泛化至关重要，这是以数据驱动的方式实现的，无需手工知识或昂贵的