【计算机视觉】【聚类】CC：对比聚类

对比聚类 《Contrastive Clustering》

论文地址：https://www.aaai.org/AAAI21Papers/AAAI-1352.LiY.pdf

相关博客：
【自然语言处理】【聚类】基于神经网络的聚类算法DEC
【自然语言处理】【聚类】基于对比学习的聚类算法SCCL
【自然语言处理】【聚类】DCSC：利用基于对比学习的半监督聚类算法进行意图挖掘
【自然语言处理】【聚类】DeepAligned：使用深度对齐聚类发现新意图
【自然语言处理】【聚类】CDAC+：通过深度自适应聚类发现新意图
【计算机视觉】【聚类】DeepCluster：用于视觉特征无监督学习的深度聚类算法
【计算机视觉】【聚类】SwAV：基于对比簇分配的无监督视觉特征学习
【计算机视觉】【聚类】CC：对比聚类
【计算机视觉】【聚类】SeLa：同时进行聚类和表示学习的自标注算法
【自然语言处理】【聚类】ECIC：通过迭代分类增强短文本聚类
【自然语言处理】【聚类】TELL：可解释神经聚类

一、简介

​ 聚类作为最基础的无监督学习算法之一，其能在不使用任何标签的情况下将样本分组到不同的簇。由于无法获得充分的向量表示，大多数的聚类算法无法在复杂数据集上取得理想的效果。为了解决表示不充分的问题，研究人员通过深度聚类算法来从图像中抽取表示信息，并促进下游的聚类任务。近期，社区将注意力放在如何以端到端的方式学习向量表示和进行聚类。例如，$\text{JULE}$逐步合并样本，然后利用聚类的结果作为监督信号来使神经网络学习到更具区分度的向量表示。$\text{DeepCluster}$迭代地使用$\text{K-Means}$进行聚类后，再更新神经网络的参数。这种表示学习和聚类交替的方式会导致误差的累计，只能得到次优解。此外，先前的聚类算法仅能在离线场景中应用，即在整个数据集上进行聚类，这限制了在大规模数据集上进行聚类。

​ 为了克服上述的限制，本文提出了一种单阶段的对比聚类算法($\text{Contrastive Clustering,CC}$)。本文的主要想法来源于图1中的观察。深度神经网络在给定数据集上学习到特征矩阵，该矩阵的行和列分别可以看作是实例和簇的表示。从某种意义上说，特征矩阵的行可以看作是簇分配的概率，列则看作是实体在该簇上的分布。基于观察$\text{label as representation}$，聚类任务可以重新定义为一种独立于实体的特殊表示学习任务。因此，聚类可以被在线执行。

​ 基于上面的观察，本文提出了一种新颖的对偶对比学习框架，用于学习实例和簇的表示。具体来说，$\text{CC}$通过数据增强构造的"数据对"来学习特征矩阵，然后在特征矩阵的行和列空间上分别执行实例级(Instance-level)和簇级(cluster-level)的对比学习。$\text{CC}$能够以单阶段、端到端的在线聚类方式学习到具有区分度的特征。总的来说，贡献如下：

• 本文揭示了特征矩阵的行和列本质上对应着实例和簇的表示。基于此，深度聚类能够优雅的统一至表示学习；
• 本文提出的方法不仅在实例上执行对比学习，也在簇级执行对比学习。这样的对偶学习框架能够产生有益于聚类的表示；
• 本文提出的方法是单阶段、端到端的方式，仅需要基于batch进行优化就能够应用在大规模数据集上。此外，该方法不需要访问整个数据集就能及时预测每个新数据的聚类分配，非常适合在线场景。

二、方法

​ 如上图所示，本文的方法由三个学习组件构成：一个样本对构建模块$\text{PCB}$、一个实例级对比头$\text{ICH}$和一个簇级对比头$\text{CCH}$。简单来说，$\text{PCB}$通过数据增强构造样本对并抽取特征，$\text{ICH}$和$\text{CCH}$则分别在特征矩阵的行和列空间上执行对比学习。训练完成后，通过$\text{CCH}$预测的软标签能够获得簇分配。实验发现，通过将实例级和簇级的对比学习分解到两个独立的空间，能够改善聚类算法的表现。

1. 成对样本构建模块$\text{PCB}$

​ $\text{CC}$使用数据增强来构建样本对。具体来说，给定一个数据实例$x_i$后，从数据增强集合$\mathcal{T}$中随机采样两种数据变换$T^a$和$T^b$。将两个变换应用在样本上，获得表示$x_i^a=T^a(x_i)$和$x_i^b=T^b(x_i)$。先前的研究已经表明，选择合适的增强策略对于提高下游任务的表现至关重要。因此，本文选择了5中类型的数据增强，分别是：$\text{ResizedCrop}$、$\text{ColorJitter}$、$\text{Grayscale}$、$\text{HorizontalFlip}$和$\text{GaussianBlur}$。对于给定的图像， 每种数据增强都以固定的概率应用在该图像上。具体来说，$\text{ResizedCrop}$会随机裁剪图像的尺寸，并将裁剪后的图像重新缩放至原始尺寸。$\text{ColorJitter}$改变图像的亮度、对比度和饱和度。$\text{Grayscale}$会转换一个图像为灰度图。$\text{HorizontalFlip}$会水平翻转图像。$\text{GaussianBlur}$则会使用高斯函数来模糊图像。

​ 一个共享的深度神经网络$f(\cdot )$用例从增强样本中抽取特征，即$h_i^a=f(x_i^a)$和$h_i^b=f(x_i^b)$。理论上，本文的方法并不依赖具体的网络结构。但是为了公平比较，本文采用$\text{ResNet34}$作为主干网络。

2. 实例级对比头$\text{ICH}$

​ 对比学习的目标是，最大化正样本对相似度的同时，最小化负样本对。样本对的特性可以用不同的标准来定义。例如，可以定义类内样本对为正例，其余为负例。在本文中，由于聚类任务并没有先验的标签可以使用，因此实例级别对比学习的正、负样本就通过数据增强产生的伪标签来构建。具体来说，相同实例的不同增强样本构建正样本对，其余为负样本对。

​ 正式来说，给定一个大小为$N$的batch，$\text{CC}$在每个实例$x_i$上执行两种类型的数据增强，产生$2N$个数据样本 { x 1 a , … , x N a , x 1 b , … , x N b } \{x_1^a,\dots,x_N^a,x_1^b,\dots,x_N^b\} {x1a​,…,xNa​,x1b​,…,xNb​}。具体到样本$x_i^a$，其能构造$2N-1$个样本对，选择其对应的增强样本$x_i^b$来形成正样本对 { x i a , x i b } \{x_i^a,x_i^b\} {xia​,xib​}，其余$2N-2$个负样本对。直接在特征矩阵上执行对比损失函数会导致信息丢失。因此，使用非线性${\text{MLP g}}_I(\cdot )$将特征映射至子空间，即$z_i^a=g_I(h_i^a)$。然后在映射后的子空间上执行对比学习。样本对的相似度通过$\text{cosine}$相似度来衡量
$$s(z_i^{k_1},z_j^{k_2})=\frac{(z_i^{k_1})(z_j^{k_2}{)}^{\top }}{\parallel z_i^{k_1}\parallel \parallel z_j^{k_2}\parallel }\text{\hspace{1em}(1)}$$
其中， k 1 , k 2 ∈ { a , b } k_1,k_2\in\{a,b\} k1​,k2​∈{a,b}且$i,j\in [1,N]$。不失一般性的，给定样本$x_i^a$的相似度优化损失函数为
$$l_i^a=-\text{log}\frac{\text{exp}(s(z_i^a,z_i^b)/{\tau }_I)}{{\sum }_{j=1}^N[\text{exp}(s(z_i^a,z_j^a)/{\tau }_I)+\text{exp}(s(z_i^a,z_j^b)/{\tau }_I)]}\text{\hspace{1em}(2)}$$
其中，${\tau }_I$是实例级temperature参数。

​ 实例级对比学习在整个数据集上的损失函数为
$${\mathcal{L}}_{ins}=\frac{1}{2N}\sum _{i=1}^N(l_i^a+l_i^b)\text{\hspace{1em}(3)}$$

3. 簇基本对比头$\text{CCH}$

​ 基于观察$\text{“label as representation”}$，当将一个样本投影至维度等于簇数量的空间中时，投影特征的第$i$个元素可以看作是该样本属于第$i$个簇的概率，而整个特征向量表示其簇分配的软标签。

​ 正式来说，对于mini-batch中第一个增强样本，$\text{CCH}$的输出表示为$Y^a\in {\mathcal{R}}^{N\times M}$；第二个增强样本的输出为$Y^b$，其中$N$是batch size，$M$等于簇的数量。$Y_{n,m}^a$可以看作是样本$n$被分配到簇$m$上的概率。由于每个样本都仅属于一个簇，因此理想情况下$Y^a$的行倾向于one-hot编码。从这个意义上来看，$Y^a$的第$i$个列可以看作是第$i$个簇的向量表示，且所有的列都应该彼此不同。

​ 类似于实例级对比中的$g_I(\cdot )$，这里也使用全链接网络$g_C(\cdot )$将特征投影至$M$维空间。即$y_i^a=g_C(h_i^a)$，$y_i^a$表示样本$x_i^a$的软标签，也就是$Y^a$的第$i$行。为了方便，令${\hat{y}}_i^a$为$Y^a$的第$i$列。合并${\hat{y}}_i^a$和${\hat{y}}_i^b$来构成簇级的正样本对 { y ^ i a , y ^ i b } \{\hat{y}_i^a,\hat{y}_i^b\} {y^​ia​,y^​ib​}，其余的$2M-2$个构成负样本对。同样使用$\text{cosine}$距离来衡量簇间的相似度
$$s({\hat{y}}_i^{k_1},{\hat{y}}_j^{k_2})=\frac{({\hat{y}}_i^{k_1}{)}^{\top }({\hat{y}}_j^{k_2})}{\parallel {\hat{y}}_i^{k_1}\parallel \parallel {\hat{y}}_j^{k_2}\parallel }\text{\hspace{1em}(4)}$$
其中， k 1 , k 2 ∈ { a , b } k_1,k_2\in\{a,b\} k1​,k2​∈{a,b}且$i,j\in [1,M]$。簇对比损失函数为
$${\hat{l}}_i^a=-\text{log}\frac{\text{exp}(s({\hat{y}}_i^a,{\hat{y}}_i^b)/{\tau }_C)}{{\sum }_{j=1}^M[\text{exp}(s({\hat{y}}_i^a,{\hat{y}}_j^a)/{\tau }_C)]+\text{exp}(s({\hat{y}}_i^a,{\hat{y}}_j^b)/{\tau }_C)}\text{\hspace{1em}(5)}$$
其中，${\tau }_C$是簇级temperature参数。所有簇的对比损失函数为
$${\mathcal{L}}_{clu}=\frac{1}{2M}\sum _{i=1}^M({\hat{l}}_i^a+{\hat{l}}_i^b)-H(Y)\text{\hspace{1em}(6)}$$

4. 目标函数

​ $\text{ICH}$和$\text{CCH}$是单阶段、端到端的优化。整个目标函数由实例级和簇级对比损失函数组成
$$\mathcal{L}={\mathcal{L}}_{ins}+{\mathcal{L}}_{clu}\text{\hspace{1em}(7)}$$
其中，$H(Y)=-{\sum }_{i=1}^M[P({\hat{y}}_i^a)\text{log}P({\hat{y}}_i^a)+P({\hat{y}}_i^b)\text{log}P({\hat{y}}_i^b)]$是簇分配概率$P({\hat{y}}_i^k)$的熵。每个mini-batch下的簇分配概率为 P ( y ^ i k ) = ∑ t = 1 N Y t i k / ∥ Y k ∥ 1 , k ∈ { a , b } P(\hat{y}_i^k)=\sum_{t=1}^NY_{ti}^k/\parallel Y^k\parallel_1,k\in\{a,b\} P(y^​ik​)=∑t=1N​Ytik​/∥Yk∥1​,k∈{a,b}。这个项用于避免将大多数实例分配至相同簇的平凡解问题。

三、实验

四、总结

• 将特征矩阵的列看作是聚类中簇的向量表示，从而进行优化；
• 将聚类问题转换为纯表示学习；