Improving Graph Contrastive Learningvia AdaptivePositiveSampling

发表期刊:CVPR24
推荐指数: #paper/⭐

总结:

其用了前两年用烂了的利用阈值构造正样本对.负样本对的方法,将其用在了异配图而已,给了证明,创新性乏善可陈

问题引入

问题背景

现有的对比学习的主要问题在于正样本采样.主要有两个方面的限制:
不完全的本地采样
不完全的盲抽样(限制对比的表现)

提出方法:

新的自适应正样本模型,命名为HEATS

本文贡献

研究了最优正样本对的亲和力矩阵(affinity matrix)的特征
提出了一个自适应捕获正样本对的策略

预备知识:

$$\mathbf{Z}=\left[\begin{array}{cccc}{\mathbf{Z}}_1& 0& \cdots & 0\\ 0& {\mathbf{Z}}_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\mathbf{Z}}_k\end{array}\right],$$

• $Z_i$代表低I个平方子矩阵块.(即:Z1,Z2----Zk表示第K个类的关系图,可以这样理解)
• 归一化后,这个矩阵可以写为:
• $$\begin{array}{c}\mathbf{Z}=\left[\begin{array}{cccc}\frac{1}{n_1}{1}_{n_1}{1}_{n_1}^{\top }& 0& \cdots & 0\\ 0& \frac{1}{n_2}{1}_{n_2}{1}_{n_2}^{\top }& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & \frac{1}{n_k}{1}_{n_k}{1}_{n_k}^{\top }\end{array}\right],\end{array}$$

主要部分

采取的策略:

矩阵构建
对比学习

矩阵构建模块

在构建亲和矩阵时,这一部分基于一个假设:同一个现行子空间的样本可以由其他样本互相表示 ${\mathrm{argmin}}_{\mathbf{Z},\mathbf{E}}\mathcal{O}(\mathbf{Z})+\lambda \mathcal{T}(\mathbf{E}),s.t.\mathbf{X}=\mathbf{ZX}+\mathbf{E}$.其中,Z表示亲合度矩阵,E表示噪音.此外,O和T表示对Z和E的约束.$\lambda$是平衡两个公式的超参.
为了包含一个高质量的亲和矩阵,应该有如下限制:
恒等性
k-block
恒等性质是因为如上优化后的Z有$Z=Z\ast Z$,块数等于k.此外,亲和性矩阵应该是标红准化的,对称的和非负的.为了实现如上性质,应该有如下公式限制:
$$\begin{array}{r}{\mathrm{argmin}}_{\mathbf{Z},\mathbf{S}}\Vert \mathbf{Z}-\mathbf{S}{\Vert }_F^2+\gamma \Vert \mathbf{S}{\Vert }_{id}+\lambda \Vert \mathbf{E}{\Vert }_{2,1},\\ s.t.\mathbf{H}=\mathbf{ZH}+\mathbf{E},\\ \mathbf{S}{1}_n=1_n,\mathbf{S}={\mathbf{S}}^{\top },\mathbf{S}\ge 0,\mathrm{Tr}(\mathbf{S})=k,\end{array}$$
S为中间变量去整合整个公式的表示.第二项是恒等约束$\Vert \mathbf{S}{\Vert }_{id}=\Vert \mathbf{S}-{\mathbf{S}}^2{\Vert }_F^2$最下一行公式分别表示列规范化,对称性和非负限制.以及S矩阵有k块.$\Vert \mathbf{E}{\Vert }_{2,1}={\sum }_{i=1}^n\sqrt{{\sum }_{i=1}^n([\mathbf{E}{]}_{ij}{)}^2}$表示$l_{2.1}-\text{norm}$的噪声.这样,亲和矩阵M(i.e.,Z,S)可以被定义为:
$$m_{v,u}=\{\begin{array}{ll}0,& m_{v,u}<\beta ,\\ m_{v,u},& \text{otherwise.}\end{array}$$

对比损失

具体的是:选取了 P v M = { u ∣ m v , u > 0 } \mathcal{P}_v^M=\{u\mid m_{v,u}{>}0\} PvM​={u∣mv,u​>0}的样本作为正样本,负样本是剩余的节点
$$\begin{array}{rlr}& {\ell }_{\mathbf{ht}}({\mathbf{h}}_v,{\tilde{\mathbf{h}}}_v)=-log\frac{{\mathrm{po}}_v}{{\mathrm{po}}_v+{\mathrm{ne}}_v},& \\ & {\mathrm{po}}_v={\mathrm{e}}^{\frac{\theta ({\mathbf{h}}_v,{\tilde{\mathbf{h}}}_v)}{\tau }}+\sum _{u\in {\mathcal{P}}_v^M}{m}_{v,u}\cdot {\mathrm{e}}^{\frac{\theta ({\mathbf{h}}_v,{\mathbf{h}}_u)}{\tau }},& \text{(6)}\\ & {\mathrm{ne}}_v=\sum _{t\in {\mathcal{N}}_v^M}{\mathrm{e}}^{\frac{\theta ({\mathbf{h}}_v,{\tilde{\mathbf{h}}}_t)}{\tau }}+\sum _{t\in {\mathcal{N}}_v^M}{\mathrm{e}}^{\frac{\theta ({\mathbf{h}}_v,{\mathbf{h}}_t)}{\tau }},& \end{array}$$

$${\mathcal{L}}_{heats}=\frac{1}{2|V|}\sum _{v\in V}\left({\ell }_{ht}({\mathbf{h}}_v,{\tilde{\mathbf{h}}}_v)+{\ell }_{ht}({\tilde{\mathbf{h}}}_v,{\mathbf{h}}_v)\right)$$