d:\obsidian\pages\Perfect Alignment May be Poisonous to Graph Contrastive Learning.md

ICML24
推荐指数： #paper/⭐⭐⭐
领域：图增强
人大高瓴实验室，刘勇的学生
刘勇主页：About me - Yong Liu (liuyonggsai.github.io)
刘勇的学校主页：刘勇-教师系统 (ruc.edu.cn) （好强啊，哈哈，好好的老师)
文章理论写的特别好！真的是为了实验服务的那种，有点拍案叫绝

理论背景

贡献：

1. 对于对比增强而言，当使用更强的增强时，对比学习受益于类间距离而不是类内距离。更好的对其可能无济于事，因为它与更强的增强所冲突
2. 2. 建立了下游任务，对比学习损失，alignment performance之间的关系，展示了为什么更强的增强有益。我们分析了理论的结果以及又从光谱的角度去解释
3. 3. 基于提出的理论结果，我们提出了两种简单但是有效的算法。我们展示了这些算法的延伸对于常见的对比学习算法的帮助

4. 增强的部分介绍

5. 数据增强被用来去创建新的图 ${\mathcal{G}}^1,{\mathcal{G}}^2\in {\mathbb{G}}^{aug}$ .$v_i^0$ 代表原始节点， $v_i^{+}$ 代表增强节点$v_i^1,v_i^2$ 。对于负样本$v_i^1$ 来说，他的负样本是 v i − ∈ { v j + ∣ j ≠ i } v_{i}^{-} \in \{v_{j}^{+}|j \neq i\} vi−​∈{vj+​∣j=i} .节点$v_i$ 的嵌入是：$||f(v_i)||=1.$

6. 对比增强如何影响下游任务

7. 对于增强而言，应该有的是，对于同一个节点，他们应该有相似的嵌入：$f(v_i^1)\approx f(v_i^2)$ 。但是，wang等人指出，完美的匹配和统一并不一定会导致一个好的性能。举例子：假设 { f ( v i 0 ) } i = 1 N \{f(v_i^0)\}_{i=1}^N {f(vi0​)}i=1N​ 是均匀分布，$f(v_{\mathbf{i}}^0)=f(v_{\mathbf{i}}^{+})$。那么，就可能会学习一个平凡接，将所有的特征映射到相同的嵌入，随机的映射这些特征。
8. wang等人认为完美对齐和组内增强重叠将是最好的解决方案。完美对其–$f(v_{\mathbf{i}}^0)=f(v^{+})=f(v_{\mathbf{i}}^0).$，这会使得类内节点更接近，增强导致的扰乱会更多的出现在类内节点，所以完美的增强和分配是类内聚集
9. 但是，saunshi等人指出，即使在强增强的情况下，增强重叠也是很罕见的。强增强会使得对其变得特别困难，这与完美对其相冲突。
   10.那么，到底是类内还是类间对于对比学习发挥的作用大呢？

假设2.1： 对于正样本和原样本，我们应该有：$p(y|v_{\mathbf{i}}^0)=p(y|v_{\mathbf{i}}^{+}).$

其中，y是label。即：对于正负样本来说，在分类时应该有同样的标签。
这一假设被广泛采用：如果扩展仍然保留基本结构并保留大部分特征信息，类别标签不太可能会改变。否则，如果增强破坏了基本标签信息，模型就会学习到trival solution

假设2.2 假设2.1成立，随着增广的增强，增广距离（正样本和原样本)的方差就会增加。${\delta }_{\mathbf{aug}}^2={\mathbb{E}}_{p(v_i^0,v_i^{+})}||f(v_i^0)-f(v_i^{+})|{|}^2$ 。我们可得:${\delta }_{\mathbf{aug}}\propto \mathrm{GED}({\mathcal{G}}^0,{\mathcal{G}}^{+}).\mathrm{GED}({\mathcal{G}}^0,{\mathcal{G}}^{+})$ 。GED表示原图与增广图的编辑距离

这是一个很自然的假设，差异越大，产出的差异就越大。这意味着，较小的增广(aug)就会对其的好。更强的增广，对其会变差

定义2.3 我们定义类中心为:${\mu }_y={\mathbb{E}}_{p(v,y)}\left[f(v_y)\right]$ 。（标签为y的样本的中心)。我们表示类内方差和类间方差为：

$$\begin{array}{rl}& {\delta }_{y^{+}}^2={\mathbb{E}}_{p(y,i,j)}||f(v_{y,i}^0)-f(v_{y,j}^0)|{|}^2,\\ & {\delta }_{y^{-}}^2={\mathbb{E}}_{p(y,y-,i,j)}||f(v_{y,i}^0)-f(v_{y^{-},j}^0)|{|}^2,\end{array}$$
(标签为y的类的距离即上式1，标签不为y与标签为y的即为类间方差)
由于前人证明：原节点的类嵌入中心和增广节点的嵌入中心不同，因此，计算类中心的时候，应该将增广图的节点包含在之内更好

定理2.4 加入2.1假设成立，我们就有：$$\begin{gathered} {\mathbb{E}}_{p(v_y^0|y)}||f(v_y^0)-{\mu }_y||\le {\delta }_{y^{+}}+\frac{2}{3}{\delta }_{aug}, \\ {\mathbb{E}}_{p(v_y^0|y)}||f(v_y^0)-{\mu }_{y^{-}}||\le {\delta }_{y^{-}}+\frac{2}{3}{\delta }_{aug}, \end{gathered}$$

解释：左式子，不等式左侧表示正样本与类中心的距离和。右侧则为负样本中心距离。
通过2.2和2.4,我们可以得到：增广距离：${\delta }_{aug}$ 会随着增广的增强而变大。这就意味着，正样本中心和负样本中心和增广距离${\delta }_{aug}$正相关。因此，强增广会同时作用于类内节点和类间节点：帮助类间节点分离，阻止类内节点聚集。

Figure 1

如图，可以看到：随着增广的增强，正中心距离并没有减少。下游任务随着负样本中心的增强而增强。所以，更好的性能和类间分离有关，类内节点不一定会聚集。

通过对于InfoNCE进行分析：

$${\mathcal{L}}_{\mathrm{NCE}}={\mathbb{E}}_{p(v_i^1,v_i^2)}{\mathbb{E}}_{p(v_i^{-})}\left[-\log \frac{\exp (f(v_i^1{)}^{T}f(v_i^2))}{\sum \exp (f(v_i^1{)}^{T}f(v_i^{-}))}\right]$$
随着增广的幅度更大，会导致正对的不相似。因此GCL将更多的关注与分母的最小化。这就意味着最小化分母实际上是为了有效的分离类间节点。相比之下，增强堆叠仍然难以存在。类内负节点的存在进一步削弱了类内聚集。
从图一我们还可以观测到，随着删除太多的变。特征时，下游性能急剧下降，并且正中心副中心相似性都增加。这是因为由于丢弃了太多的信息，使得基本的假设$p(y|v_{\mathbf{i}}^0)=p(y|v_{\mathbf{i}}^{+})$不存在，导致了平凡解的被学习到。

增广距离，对比损失和下游性能的关系

我们用平均交叉熵CE来代表下游的性能
平均CEloss：
$${\hat{\mathcal{L}}}_{\mathrm{CE}}={\mathbb{E}}_{p(v^0,y)}\lfloor -\log \frac{\exp (f(v^0{)}^T{\mu }_y)}{{\sum }_{j=1}^K\exp (f(v^0{)}^T{\mu }_j)}\rfloor$$
${\mu }_j={\mathbb{E}}_{p(v|y=j)}\left[f(v)\right]$
我们可以得到如下推导:

定义2.6

$$\begin{gathered} {\hat{\mathcal{L}}}_{\mathrm{CE}}\ge {\mathcal{L}}_{\mathrm{NCE}}-3{\delta }_{aug}^2-2{\delta }_{aug}-\log \frac{M}{K}-\frac{1}{2}\mathrm{Var}(f(v^{+})|y) \\ -\sqrt{\mathrm{Var}(f(v^0)|y)}-e\mathrm{Var}({\mu }_y)-O(M^{-\frac{1}{2}}), \end{gathered}$$
我们可以发现，当我们执行更强的增广是，下限会变得小，较小的下限不一定会导致更强的性能，但是它会导致有潜在的更优的解决方案
举个例子，${\hat{\mathcal{L}}}_{\mathrm{CE}}\ge 0.7$ 和${\mathcal{L}}_{\mathrm{CE}}>0.3$，我们会选择右侧的，因为右侧的解更多，能有更优的解。
定义2.6也表明：NCE也可能不能导致下游任务的优秀性能。这也可以得到：更强的增广距离会让下限更小，增强概括性，提升下游性能。还标明更好的概括性与更高的正中心距离相关，这与上面的实验一直。
弱增广会导致更好的对齐，但也会导致较弱的概括。强变得更强时，尽管无法实现完美对齐，但它会促进更好的概括，并可能改善下游性能。当增广太强时，最大限度地减少InfoNSO损失变得具有挑战性

我们的增强方法

定理3.1：CEwith MI

$${\hat{\mathcal{L}}}_{\mathrm{CE}}\ge \log (K)-I(v^1,v^2)-g({\delta }_{aug})-O(M^{-\frac{1}{2}}),$$
$I(v^1,v^2)$表示两个节点的互信息。$g({\delta }_{aug})$随着${\delta }_{aug}$的增加而增加。
上十字标明最好的增广是最大化互信息以及增广距离
最好的增强应该是最小化：$I(v^1,y)=I(v^2,y)=I(v^0,y)$但预训练时下游任务是未知的，所以这实际上是不可能实现的。我们的理论表明，增广应该是强增广，同时保留尽可能多的信息，最好的增强应该是满足InfoMin的增强，这意味着增强消除所有无用信息并保留下游相关信息
为了验证我们的理论，我们提出了一个简单并且有效的方法：识别重要的节点特征以及边，让他们在增广中不改变。对于不重要的信息，我们执行增广

识别重要的部分 --通过梯度计算

$$\begin{array}{rl}& {\alpha }_{v,p}=\frac{\partial {\mathcal{L}}_{\mathrm{NCE}}}{\partial x_{v,p}},{\alpha }_p=\mathrm{ReLU}\left(\frac{1}{|V^{\prime }|}\sum _v{\alpha }_{v,p}\right),\\ & {\alpha }_v=\mathrm{ReLU}\left(\frac{1}{|P^{\prime }|}\sum _p{\alpha }_{v,p}\right),{\alpha }_{e_{i,j}}=\left({\alpha }_{v_i}+{\alpha }_{v_j}\right)/2,\end{array}$$
${\alpha }_{v,p}$是节点v的第$p^{th}$个重要的特征，${\alpha }_p$是$p^{th}$个特征的重要性。${\alpha }_{\mathbf{v}}$是节点v的重要性，${\alpha }_{e_{i,j}}$表示$edge(v_i,v_j)$的重要性。

掩码策略

对于重要性相对较低的边缘/特征，我们可以通过自由的掩盖这些边缘/特征,但是我们应该确定这些掩盖的特征的数量大于保留的边缘/特征的数量，以防止${\delta }_{aug}$的减少。
$$\tilde{\mathbf{A}}=\mathbf{A}\ast ({\mathbf{M}}_e\vee {\mathbf{S}}_e\wedge {\mathbf{D}}_e),\tilde{\mathbf{F}}=\mathbf{F}\ast ({\mathbf{M}}_f\vee {\mathbf{S}}_f\wedge {\mathbf{D}}_f),$$
其中,* 是handamard积。$M_e,M_f$代表随机掩码矩阵，可以被任何掩码策略生成。$S_e,S_f$是基于重要性的保留矩阵。它来保证高置信度的边/特诊应该被不保留。对于top $\xi$ 重要的特征/边，我们分别设置$S_e,S_f$ 百分之50%的概率为1,0。$D_e,D_f$展现出应该被删除的节点和特征，前者有50%的概率置为0，后者有50%的概率设置为1

谱分析的角度去解释：(谱增广)

这部分，尝试从谱的角度去分析infoNCE损失和增广距离。因为图和GCN天然与谱理论相关。我们使用邻接矩阵A来表示光谱

定理3.2 $A是邻接矩阵，A^{\prime },A^{\prime \prime }是增强矩阵。第i个特征值为{\lambda }_i^{\prime },{\lambda }_i^{\prime \prime }$

$${\mathcal{L}}_{\mathrm{NCE}}\ge N\log N-(N+1)\sum _i{\theta }_i{\lambda }_i^{\prime }{\lambda }_i^{\prime \prime },$$

定理3.3 $2{\delta }_{aug}\ge {\mathbb{E}}_{p(v_i^1,v_i^2)}\Vert f(v_i^1)-f(v_i^2)\Vert \ge \sqrt{2-\frac{2}{N}{\sum }_i{\theta }_i{\lambda }_i^{\prime }{\lambda }_i^{\prime \prime }}.$

定理3.3证明了，当${\theta }_i$是正值，一个小的${\mathcal{L}}_{NCE}$需要一个大的特征值$|{\lambda }_i|$然而一个大的${\delta }_{aug}$需要一个小的$|{\lambda }_i|$。并且他只在${\theta }_i$为负值时其作者用。对于最小化${\mathcal{L}}_{NCE}$的对比学习，随着训练的进行，$\theta s$会增加。为了实现平衡，我们应该减少$|{\lambda }_i|$当infoNCE在减少的时候。
yang等人表示，不平滑的光谱的卷积操作会导致较大幅度的特征值的特征量相关，并导致对应幅度小的特征值的特征量垂直。所以对于足够的图卷积操作，如果$|{\lambda }_i|>|{\lambda }_j|$，我们可以得到嵌入$f(v)$满足$\mathrm{sim}(f(v),e_i)\gg \mathrm{sim}(f(v),e_j)$。这会导致所有的特征相似于$e_i$。因此，不平滑的光谱可能导致相似的表征以及结果的过平滑。这表明，更高的$\left|{\lambda }_i\right|$导致$f(v_{\mathbf{i}}^1)$和$f(v_{\mathbf{i}}^2)$更相似。实际上，可以这样理解：减少$|{\lambda }_i|$实际上减少了正的${\lambda }_i$，增加了负的${\lambda }_i$。这意味着尝试在图谱领域去平滑特征值

即：平滑图光谱可以帮助对比学习
我们提出了一种简单的增强方法：随着训练的进行，参数${\theta }_{i}s$应该是增加的，因此我们可以使用${\theta }_i$作为一个展示是否这个模型被正确训练的符号。随着${\theta }_i$的逐渐增加，我们可以增加$\lambda$。当${\theta }_i$开始去减少，这可能是我们改变光谱的幅度太大了，我们应该撤回一步。
$$\begin{array}{c}{\lambda }_i={\lambda }_i+{\text{direction}}_i\ast {\lambda }_i\ast \alpha ,\\ directio{n}_i=\{\begin{array}{llc}-1,& \mathrm{cur}({\theta }_i)-\mathrm{pre}({\theta }_i)\ge ϵ& \\ 1,& \mathrm{cur}({\theta }_i)-\mathrm{pre}({\theta }_i)\le -ϵ,& \\ 0,& \mathrm{otherwise}& \end{array}\end{array}$$
$\alpha$ 是一个决定我们是否应该增加、减少多少${\lambda }_i$的超参。$ϵ$ 被使用去决定是否${\theta }_i$
是增加，减少的。或者仅仅爆出稳定。$\mathrm{cur}({\theta }_i)$以及$\mathrm{pre}({\theta }_i)$代表现在和以前的${\theta }_i$。通过这种方式，对比学习训练将会增加$\theta$结果以一个低的${\mathcal{L}}_{NCE}$，我们通过${\lambda }_i$取实现一个更好的增强距离。

结果

graph with information augmentation:-I
graph with spectrum augmentation -S

总结

写的很好，做的笔记不足以展现文章的优秀之处，推荐读原文。
文章通过理论和实践探明了为什么随着droprate的增加，对比学习会变好，并且随着droprate过增加（接近于1），对比学习会变差。并针对这一理论，提出了相应的两种增强方法–基于可信度的增强（节点，边等），基于光谱的增强