ICLR-2025《Towards Calibrated Deep Clustering Network》

---

推荐一个机器学习前沿公众号，第一时间获取最有价值的前沿机器学习文章。

---

核心思想

该论文提出了一种校准深度聚类网络（Calibrated Deep Clustering, CDC），旨在解决传统深度聚类方法中的过自信问题，即模型预测的置信度远超其实际预测准确率的问题。核心思想是通过引入一个双头网络结构（聚类头和校准头），实现置信度的校准和聚类性能的提升。校准头负责调整聚类头的过高置信度，使预测置信度与模型的实际学习状态相匹配，而聚类头利用校准头提供的可靠高置信度样本进行伪标签自训练。此外，论文提出了一种基于特征原型的网络初始化策略，增强训练速度和网络鲁棒性。实验表明，该方法在校准误差（ECE）和聚类准确率上均显著优于现有方法。

目标函数

CDC的目标函数由两部分组成，分别对应校准头和聚类头的优化：

1. 校准头的目标函数：
   校准头的目标是使模型的预测置信度与实际准确率对齐，同时避免所有样本被分配到同一簇。校准头的损失函数由两部分组成：

   • 校准损失（${\mathcal{L}}_{\text{cal}}$）：通过K均值算法将特征嵌入分为$K$个迷你簇，计算每个迷你簇在聚类头的平均预测${\hat{\mathbf{q}}}_k=\frac{{\sum }_{{\mathbf{x}}_i\in Q_k}{\mathbf{p}}_i^{\text{clu}}}{|Q_k|}$，并将其作为校准头中该迷你簇样本的目标分布。校准损失定义为：
     $${\mathcal{L}}_{\text{cal}}=-\frac{1}{B}\sum _k\sum _{{\mathbf{x}}_i\in Q_k}{\hat{\mathbf{q}}}_k\log \left({\mathbf{p}}_i^{\text{cal}}\right),$$
     其中${\mathbf{p}}_i^{\text{cal}}=\sigma \left(g\left({\mathbf{\theta }}_{\text{cal}};f\left(\mathbf{\Theta };{\mathbf{x}}_i\right)\right)\right)$是校准头的预测，$B$是批次大小。
   • 负熵损失（${\mathcal{L}}_{\text{en}}$）：用于使预测类分布更均匀，防止所有样本被分配到同一簇：
     $${\mathcal{L}}_{\text{en}}=\frac{1}{C}\sum _{j=1}^C{\mathbf{p}}_{c,j}^{\text{cal}}\log {\mathbf{p}}_{c,j}^{\text{cal}},$$
     其中${\mathbf{p}}_{c,j}^{\text{cal}}$是校准头对批次样本的第$j$类预测。
   • 总校准损失：
     $$\mathcal{L}={\mathcal{L}}_{\text{cal}}+w_{\text{en}}{\mathcal{L}}_{\text{en}},$$
     其中$w_{\text{en}}=1$为超参数。

2. 聚类头的目标函数：
   聚类头通过伪标签自训练优化，使用校准头提供的置信度动态选择高置信度样本。聚类头的损失函数为交叉熵损失：
   $${\mathcal{L}}_{\text{clu}}=-\frac{1}{|S|}\sum _{{\mathbf{x}}_i\in S}{y}_i\log {\mathbf{p}}_i^{\text{s,clu}},$$
   其中$S$是选出的伪标签样本集合，$y_i=\arg \max {\mathbf{p}}_i^{\text{w,cal}}$是伪标签，${\mathbf{p}}_i^{\text{s,clu}}$是聚类头对强增强样本的预测，$|S|$是伪标签样本数量。

目标函数的优化过程

CDC的优化过程分为以下步骤：

1. 预训练：

   • 使用MoCo-v2（一种自监督学习方法）预训练特征提取器$f(\mathbf{\Theta };\cdot )$，以获得初始的判别性特征表示。

2. 初始化：

   • 对聚类头和校准头（均为三层MLP）进行基于特征原型的初始化：
     • 对特征$\mathbf{z}$进行K均值聚类，得到$H$个原型，初始化第一层权重${\mathbf{W}}^{(1)}={\text{Kmeans}}_H(\mathbf{z})$。
     • 对隐藏层输出$\mathbf{h}$进行K均值聚类，初始化第二层权重${\mathbf{W}}^{(2)}={\text{Kmeans}}_C(\mathbf{h})$。
     • 对权重进行正交化以增强判别能力。
   • 这一初始化策略通过Proposition 1证明能有效传递预训练特征的判别性。

3. 联合优化：

   • 校准头优化：
     • 在每个批次中，使用K均值将特征分为$K$个迷你簇，计算${\hat{\mathbf{q}}}_k$。
     • 根据${\mathcal{L}}_{\text{cal}}$和${\mathcal{L}}_{\text{en}}$计算总损失$\mathcal{L}$，仅优化校准头参数${\mathbf{\theta }}_{\text{cal}}$（使用停止梯度策略，避免影响整个网络）。
   • 聚类头优化：
     • 使用校准头的置信度${\mathbf{p}}_i^{\text{w,cal}}$动态选择伪标签样本：
       • 对每个类$c$，按置信度降序排序样本，选择前$\lfloor B/C\rfloor$个样本构成$TOP(c)$。
       • 计算该类的伪标签样本数量$M(c)=\lfloor {\sum }_{{\mathbf{x}}_i\in TOP(c)}{\mathbf{p}}_i^{\text{w,cal}}\rfloor$。
       • 选择前$M(c)$个样本作为伪标签样本$S$。
     • 使用${\mathcal{L}}_{\text{clu}}$优化特征提取器$\mathbf{\Theta }$和聚类头参数${\mathbf{\theta }}_{\text{clu}}$。
   • 校准头和聚类头同时优化，相互协作：校准头提供可靠置信度，聚类头利用这些置信度选择高质量伪标签。

4. 最终预测：

   • 使用校准头的输出${\mathbf{p}}_i^{\text{cal}}=\sigma \left(g\left({\mathbf{\theta }}_{\text{cal}};f\left(\mathbf{\Theta };{\mathbf{x}}_i\right)\right)\right)$作为最终聚类预测，因其校准误差（ECE）低于聚类头。

优化使用Adam优化器，训练100个epoch，学习率分别为编码器$5\times 10^{-5}$（CIFAR-20和Tiny-ImageNet调整为$10^{-5}$）和MLP $10^{-4}$。

主要贡献点

1. 提出校准深度聚类框架：

   • 首次针对深度聚类的过自信问题，提出双头网络（聚类头和校准头），通过校准头调整置信度，使其与实际准确率对齐，显著降低校准误差（ECE降低约5倍）。

2. 动态伪标签选择策略：

   • 利用校准头的置信度动态选择伪标签样本，克服固定阈值带来的问题（如早期样本不足、后期噪声伪标签增加），并通过类特定阈值缓解类不平衡问题。

3. 特征原型初始化策略：

   • 提出基于K均值原型的初始化方法，将预训练特征的判别性传递到聚类头和校准头，显著提升初始聚类准确率（例如，CIFAR-20从10.4%提升到更高水平）。

4. 理论保证：

   • 通过Theorem 1证明校准方法仅对不可靠区域的置信度进行惩罚，保留高置信度样本的可靠性。
   • 通过Theorem 2证明校准头的ECE低于聚类头。
   • 通过Proposition 1证明初始化策略能有效传递特征判别性。

5. 广泛实验验证：

   • 在六个基准数据集（CIFAR-10、CIFAR-20、STL-10、ImageNet-10、ImageNet-Dogs、Tiny-ImageNet）上验证，CDC在聚类准确率（ACC）、归一化互信息（NMI）、调整兰德指数（ARI）和ECE上全面优于现有方法。
   • 展示了CDC作为自标签阶段的通用性，应用于SCAN和SeCu后进一步提升性能。

6. 实际应用潜力：

   • 校准后的置信度增强了模型在可信决策系统（如医疗诊断、自动驾驶）的适用性。
   • 改进的OOD检测能力（AUROC提升2.9%，FPR95降低19.5%）显示其在处理未知样本时的鲁棒性。

总结

该论文通过创新的双头网络结构、动态伪标签选择和特征原型初始化，成功解决了深度聚类的过自信问题，同时提升了聚类性能。其目标函数设计合理，优化过程高效，理论分析严谨，实验结果令人信服，为深度聚类领域提供了重要的理论和实践贡献。