AAAI-2024《Deep Contrastive Graph Learning with Clustering-Oriented Guidance》

---

推荐一个机器学习前沿公众号，第一时间获取最有价值的前沿机器学习文章。

---

核心思想

论文提出了一种名为深度对比图学习（Deep Contrastive Graph Learning, DCGL）的无监督深度学习框架，专门针对非图结构数据的聚类任务。DCGL通过结合伪孪生网络（pseudo-siamese network）、对比学习（contrastive learning）和图神经网络（GNN），在特征级别和聚类级别引入聚类导向指导，从而提升节点区分度和聚类结构的清晰度。框架通过构建局部亲近图（Local Propinquity Graph, LPG）和全局扩散图（Global Diffusion Graph, GDG），分别捕捉数据的局部和全局流形结构，并通过孪生图卷积（siamese graph convolution）统一两种图的聚类结构。DCGL解决了现有基于GNN的聚类方法对高质量初始图的依赖以及缺乏聚类特定指导的问题，适用于没有预定义图结构的通用聚类场景。

核心组件包括：

• 伪孪生网络：结合图卷积网络（GCN）学习结构信息和自编码器（auto-encoder）保留原始数据属性，防止表示崩塌（representation collapse）。
• 对比学习：
  • 特征级别对比学习：通过将节点推离其他聚类的中心来增强节点区分度。
  • 聚类级别对比学习：促进局部和全局图共享明确的聚类中心分布。
• 局部与全局图学习：
  • LPG基于成对相似性，采用自适应邻居更新策略捕获局部流形。
  • GDG通过个性化PageRank扩散捕获全局拓扑关系。
• 聚类导向指导：利用k均值聚类结果指导对比学习，增强与聚类相关的特征保留。

DCGL通过以上机制在无监督聚类任务中实现了对数据的深层表示学习和结构优化，显著提升了聚类性能。

目标函数

DCGL的总体目标函数整合了多个损失项，优化伪孪生网络、图学习和对比学习模块，定义为：

$$\mathcal{L}={\mathcal{L}}_{AE}+{\mathcal{L}}_{FL}+\alpha {\mathcal{L}}_{GL}+\beta {\mathcal{L}}_{CL}$$

其中：

• ${\mathcal{L}}_{AE}$：自编码器损失，确保原始数据属性的保留。
• ${\mathcal{L}}_{FL}$：特征级别对比损失，提升节点区分度。
• ${\mathcal{L}}_{GL}$：图学习损失，优化局部亲近图。
• ${\mathcal{L}}_{CL}$：聚类级别对比损失，强化聚类结构的清晰度。
• $\alpha ,\beta$：权衡参数，平衡图学习和聚类级别对比学习的贡献。

各损失项详解

1. 自编码器损失（${\mathcal{L}}_{AE}$）：
   用于训练自编码器以重构输入数据，保留原始属性：

   $${\mathcal{L}}_{AE}=\frac{1}{2n}\sum _{i=1}^n\Vert {\mathbf{x}}_i-{\tilde{\mathbf{x}}}_i{\Vert }_2^2$$

   其中，${\mathbf{x}}_i$为输入样本，${\tilde{\mathbf{x}}}_i$为重构样本，$n$为样本数量。

2. 特征级别对比损失（${\mathcal{L}}_{FL}$）：
   通过k均值聚类在自编码器分支（${\mathbf{H}}^{v_2}$）上生成$c$个聚类中心，利用InfoNCE损失增强节点区分度。对于每个锚点${\mathbf{H}}_i^{v_1}$，其对应分支${\mathbf{H}}_i^{v_2}$为正样本，其他聚类中心为负样本：

   $${\mathcal{L}}_{FL}=\frac{1}{n}\sum _i^n\left(-\log \frac{e^{\theta ({\mathbf{H}}_i^{v_1},{\mathbf{H}}_i^{v_2})/\tau }}{e^{\theta ({\mathbf{H}}_i^{v_1},{\mathbf{H}}_i^{v_2})/\tau }+{\sum }_j{e}^{\theta ({\mathbf{H}}_i^{v_1},{\mathbf{P}}_j^{(i)})/\tau }}\right)$$

   其中，$\theta (\cdot ,\cdot )$为余弦相似度，$\tau$为温度参数，${\mathbf{P}}_j^{(i)}$为负样本中心集合。

3. 图学习损失（${\mathcal{L}}_{GL}$）：
   用于优化局部亲近图${\mathbf{S}}^L$，基于成对相似性推导流形结构，表达为迹形式：

   $${\mathcal{L}}_{GL}=\mathrm{Tr}\left\{({\mathbf{H}}^{v_1}{)}^{\mathrm{T}}{\mathbf{L}}_{\mathbf{S}}{\mathbf{H}}^{v_1}\right\}+\frac{\gamma }{2}\mathrm{Tr}\left\{{\mathbf{S}}^L({\mathbf{S}}^L{)}^{\mathrm{T}}\right\}$$

   其中，${\mathbf{L}}_{\mathbf{S}}$为${\mathbf{S}}^L$的拉普拉斯矩阵，$\gamma$为正则化参数。

4. 聚类级别对比损失（${\mathcal{L}}_{CL}$）：
   在聚类空间内执行对比学习，确保局部和全局图共享相同的聚类结构。聚类中心嵌入通过孪生GCN计算：

   $${\mathbf{Z}}^{v_1}=({\mathbf{F}}^{v_1}{)}^{\mathrm{T}}{\mathbf{H}}^{v_1},{\mathbf{Z}}^{v_2}=({\mathbf{F}}^{v_2}{)}^{\mathrm{T}}{\mathbf{H}}^{v_1}$$

   损失函数为：

   $${\mathcal{L}}_{CL}=\frac{1}{2c}\sum _i\left[\Omega ({\mathbf{Z}}_i^{v_1},{\mathbf{Z}}_i^{v_2})+\Omega ({\mathbf{Z}}_i^{v_2},{\mathbf{Z}}_i^{v_1})\right]$$

   其中，

   $$\Omega ({\mathbf{Z}}_i^{v_1},{\mathbf{Z}}_i^{v_2})=-\log \frac{e^{\theta ({\mathbf{z}}_i^{v_1},{\mathbf{z}}_i^{v_2})/\tau }}{{\sum }_j{e}^{\theta ({\mathbf{z}}_i^{v_1},{\mathbf{z}}_j^{v_2})/\tau }+{\sum }_{j\ne i}^c{e}^{\theta ({\mathbf{z}}_i^{v_1},{\mathbf{z}}_j^{v_1})/\tau }}$$

目标函数的优化过程

DCGL的目标函数通过Adam优化器进行优化，具体流程如下（详见论文Algorithm 1）：

1. 初始化：

   • 输入数据矩阵$\mathbf{X}$、聚类数量$c$、初始邻居数$k$、邻居更新间隔$t$、最大迭代次数$iter$及参数$\alpha ,\beta ,\gamma$。

   • 通过公式(1)计算初始图$\mathbf{A}$，基于欧几里得距离构建邻接关系：

     $$\underset{\mathbf{A}}{\min }\sum _{i=1}^n\Vert {\mathbf{x}}_i-{\mathbf{x}}_j{\Vert }_2^2{a}_{ij}+\gamma \Vert \mathbf{A}{\Vert }_{\mathrm{F}}^2,\text{s.t.}\Vert {\mathbf{a}}_i{\Vert }_1=1,0\le {\mathbf{a}}_i\le 1$$

2. 迭代优化：

   • 伪孪生网络：计算GCN分支表示${\mathbf{H}}^{v_1}$和自编码器分支表示${\mathbf{H}}^{v_2}$，并生成重构数据$\tilde{\mathbf{X}}$。

   • 特征级别对比学习：在${\mathbf{H}}^{v_2}$上执行k均值聚类获取$c$个中心，计算${\mathcal{L}}_{FL}$。

   • 局部图学习：基于${\mathbf{H}}^{v_1}$更新LPG ${\mathbf{S}}^L$，计算${\mathcal{L}}_{GL}$，并按固定间隔$t$逐步增加邻居数$k$。

   • 全局图学习：融合${\mathbf{H}}^{v_1}$和${\mathbf{H}}^{v_2}$生成综合表示$\mathbf{H}$，计算GDG ${\mathbf{S}}^G$，使用个性化PageRank扩散：

     $${\mathbf{S}}^G=\lambda {\left[{\mathbf{I}}_n-(1-\lambda ){\mathbf{D}}_{\mathbf{G}}^{-\frac{1}{2}}\mathbf{G}{\mathbf{D}}_{\mathbf{G}}^{-\frac{1}{2}}\right]}^{-1}$$

   • 孪生图卷积：将${\mathbf{H}}^{v_1}$和归一化的${\mathbf{S}}^L,{\mathbf{S}}^G$输入GCN，生成聚类指示器${\mathbf{F}}^{v_1},{\mathbf{F}}^{v_2}$，计算聚类中心${\mathbf{Z}}^{v_1},{\mathbf{Z}}^{v_2}$，并计算${\mathcal{L}}_{CL}$。

   • 联合优化：通过Adam优化器最小化总损失$\mathcal{L}$，更新模型参数。

3. 收敛与输出：

   • 当邻居数$k$达到上限$\lfloor \frac{n}{c}\rfloor$或迭代次数达到$iter$时停止。
   • 对收敛的LPG ${\mathbf{S}}^L$执行谱聚类（NCut），输出最终聚类标签。

优化过程通过逐步增加邻居数实现LPG的阶段性增长，结合特征和聚类级别的对比学习，确保模型逐步逼近清晰的聚类结构。

主要贡献点

1. 提出DCGL框架：

   • 设计了一种新颖的无监督深度图学习框架，结合伪孪生网络和对比学习，适用于非图数据的聚类任务，显著降低了对初始图质量的依赖。

2. 聚类导向的对比学习：

   • 提出特征级别和聚类级别对比学习策略，利用k均值中心指导正负样本选择，提升节点区分度和聚类结构的清晰度。

3. 局部与全局图学习：

   • 创新性地构建LPG和GDG，分别捕获局部和全局流形信息，通过孪生图卷积实现统一聚类结构，增强了模型对复杂数据结构的适应性。

4. 优异的实验性能：

   • 在七个公开基准数据集（包括TOX-171、ORL、YaleB等）上，DCGL在准确率（ACC）和归一化互信息（NMI）指标上超越了13种传统和深度聚类方法，验证了其在通用聚类任务中的优越性。

5. 鲁棒性和通用性：

   • 通过消融实验验证了各模块的有效性，参数敏感性分析表明DCGL在合理参数范围内表现稳定，适用于多种数据类型（如图像、文本和记录数据）。

总结

DCGL通过伪孪生网络、对比学习和双图学习的创新设计，为非图数据聚类提供了一种高效的无监督解决方案。其聚类导向指导和局部-全局流形捕捉机制显著提升了聚类性能，填补了现有GNN聚类方法在通用场景中的不足。论文在AAAI-24的发表进一步凸显了其在机器学习和图聚类领域的学术价值。