Contrastive Multi-View Representation Learning on Graphs

  1. 对图做数据增广,取出一部分(随机断掉一些边,类似图像里的crop)
  2. 每个view学习自己的顶点表示和图表示
  3. 利用一个view的点表示和另一个view的图表示,学习分类器,同时学习一个score

具体地:

augmentations

我们可以考虑两类图的增广:(1)对初始节点特征进行的特征空间增广,如掩蔽或添加高斯噪声;(2)对图结构进行的结构空间增广和腐蚀,通过添加或删除连通性、子采样和,或者使用最短距离或扩散矩阵生成全局视图。前一种可能有问题,因为不是所有测试集都给了特征,而且我们试了这样没什么好处,所以我们采用全局图增广加子采样。

我们的经验表明,在大多数情况下,最好的结果是通过将邻接矩阵转化为扩散矩阵,并将这两个矩阵视为同一图结构的两个同余视图来实现的(见第4.4节)。我们指出,由于邻接矩阵和扩散矩阵分别提供了图结构的局部和全局视图,因此从这两个视图学习到的表示之间的最大一致性允许模型同时编码丰富的局部和全局信息。

以下是图增广方式:

 

全局图增广后我们做一下子采样,一个view随便选,另一个view选的边和顶点要和他一样

 

 

encoders

这里的encoder选什么都可以,我们选了最常用的GCN用作我们的图编码器

 

 

 

 

train

 

在训练时,应该还加上了顶点分类loss和图的分类Loss吧(猜的,不然怎么学到监督信息)。在测试时,特征为两个view的特征相加。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
对比式自监督学习是一种无监督学习的方法,旨在通过通过训练模型来学习数据的表示。这种方法在计算机视觉领域中得到了广泛的应用。 对比式自监督学习的核心思想是通过将数据例子与其在时间或空间上的某种变形或扭曲版本对比,来训练模型。这种对比鼓励模型捕捉到数据的关键特征,从而学习到更好的表示。 对比式自监督学习的一个常见应用是图像的自学习。通过将图像进行旋转、剪切、缩放等变形,来构建一个正样本(原始图像)和负样本(变形图像)对。然后将这些对输入到一个深度神经网络中进行训练,以学习图像表示。训练过程中,网络被要求将正样本和负样本区分开,从而学习到图像的特征。 对比式自监督学习有许多优点。首先,它不需要标注数据,使其适用于大规模的无标签数据。其次,由于数据自动生成,可以轻松地扩展到大数据集。另外,对比式自监督学习的模型可以用于其他任务的迁移学习,使得模型更通用。 然而,对比式自监督学习也存在一些挑战和限制。首先,生成变形样本的过程可能会降低数据的质量,从而降低学习效果。其次,选择合适的变形方式和参数也是一个挑战。另外,对于某些领域和任务,对比式自监督学习可能不适用或效果不佳。 总之,对比式自监督学习是一种有效的无监督学习方法,可用于数据表示学习。它在计算机视觉领域有着广泛的应用,并具有许多优点。然而,仍然需要进一步的研究和发展来克服其中的挑战和限制。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值