NIPS 21: COLES Contrastive Laplacian Eigenmaps

talk

这篇文章先 挖个坑,之后等 作者22NIPS的 GLEN(COLES+)代码出来之后一起看,本文github的代码,本文核心:损失函数计算 联系了 GNN, LE, 对比学习
原作者 知乎 讲解

啊啊啊啊啊啊啊啊啊

预备补充 知识:

1. laplacian 降维的 目标函数 可以写成 降维后表征Y关于L二次型的 迹

迹求导
在这里插入图片描述

约束条件 采用拉格朗日求导 条件中有D,则是 广义特征值求解

在这里插入图片描述

2.拉普拉斯降维 防止 求解出的 特征向量每一维都一样, 因为最后 是把 特征值 对应的 m个特征向量作为某列(特征),因此 如果 这列全部 一样,则意味着 所有节点 这个维度 都是1 ,没有区分性,得到了 trivial解

流程 详细可以看这个
在这里插入图片描述
在这里插入图片描述

3. 约束条件作用 可以有无 D, 没有D是 转置矩阵 = 该节点的此维度 模长=1. 如果加上D 进行 约束,则是考虑了 这个节点的 度,因为 D越大的节点,特征变化会更大,因此yDy 使得 每个节点 每个维度d 再相加=1.

约束条件 知乎
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

COLES:

这篇文章 当时是从 无监督graphsage那个损失函数出发== randomwalk line等等采用的,通过去掉log σ 等价于 拉普拉斯 降维的形式。
在这里插入图片描述

在这里插入图片描述

--------- 未完成…

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值