Paper Reading《Supporting Clustering with Contrastive Learning》

Paper Reading《Supporting Clustering with Contrastive Learning 》

@author: SUFEHeisenberg

Paper url(Accepted by NAACL 2021). Github url. B站讲解. B站代码解析。

1. Intuition

通过TSNE可视化出数据进行聚类、对比学习之后的embedding分布我们可以看出：

1. 数据本身特性分布就是重叠交叉的，单纯的聚类通过优化不同的基于距离或相似度的聚类目标得到的聚类纯度较差。
2. 而基于实例的对比学习（Instance-Contrastive-Learning，下称Ins-CL）分散不同的实例，同时在某种程度上隐式地将相似的实例聚集在一起。
3. Ins-CL可以通过分散重叠的类别来支持聚类。从而更好地分离不同的聚类，同时通过显式地将该聚类中的样本聚在一起来收紧每个聚类。

Contributions

• 提出一种新型端到端的无监督聚类框架SCCL，提高短文本聚类数据集的SOTA。且本方法更简单，其他方法通常需要多阶段独立训练。
• 分析并演示如何有地结合自上而下的聚类(top-down clustering )和自下而上的实例对比学习(bottom-up instance discrimination )，以实现更好的类间距离和类内距离。
• 探讨用于SCCL的各种文本增强技术，不同于CV领域，结果表明在文本域使用复合增强并不总是有益的。

2. Model Architecture

本文的模型由三个组件组成。神经网络$\psi (\cdot )$首先将输入数据映射到表示空间（特征生成器），两个不同的头$g(\cdot )$和$f(\cdot )$分别应用对比损失和聚类损失。

因为涉及到Ins-CL，本文的数据包括原始数据和增强数据。具体来说，对于随机抽样的minibatch B = { x i } i = 1 M B = \{x_i\}^M_{i=1} B={xi​}i=1M​，本文对$B$ 中的每个数据实例随机生成一对增强数据，得到一个规模为 $2M$ 的扩增集 B a = { x i } i = 1 2 M B_a = \{x_i\}^{2M}_{i=1} Ba​={xi​}i=12M​。

2.1 Instance-wise Contrastive Learning

对于每个minibatch$B$, Instance-CL 损失是定义在$ B_a $的数据增强对上。

设 i 1 ∈ { 1 , ⋯   , 2 M } i^1\in\{1,\cdots,2M\} i1∈{1,⋯,2M} 表示扩增集$B_a$ 中任意实例的索引， i 2 ∈ { 1 , ⋯   , 2 M } i^2\in\{1,\cdots,2M\} i2∈{1,⋯,2M} 为 $B_a$ 中另一个实例的索引，和原集合 $B$ 中同一实例索引一致。将 ${\tilde{x}}_{i^1},{\tilde{x}}_{i^2}\in B_a$作为一个正样本对，而将 $B_a$ 中的其他 $2M-2$ 例子作为这个正样本对的负样本。$\widetilde{z_j}=g(\psi ({\tilde{x}}_j)),j=i^1,i^2.$作为$g$后相关的输出。通过最小化 $l_{i^1}^I$来将正样本对和其他负样本对分离开
$${\ell }_{i^1}^I=-\log \frac{\exp \left(\mathrm{sim}\left({\tilde{z}}_{i^1},{\tilde{z}}_{i^2}\right)/\tau \right)}{{\sum }_{j=1}^{2M}{1}_{j\ne i^1}\cdot \exp \left(\mathrm{sim}\left({\tilde{z}}_{i^1},{\tilde{z}}_j\right)/\tau \right)}$$
本文中$\tau =0.5$，使用一对标准化的点积（据实验经验，标准化后的相似性计算对下游任务更加友好。Chen et al. 2020）作为相似度函数：$\text{sim}(\widetilde{z_i},\widetilde{z_j})={\widetilde{z_i}}^T\widetilde{z_j}/\Vert \widetilde{z_i}{\Vert }_2\Vert \widetilde{z_j}{\Vert }_2$

将所有小批量$B_a$ 的 loss 平均数作为 Instance-CL loss ：
$${\mathcal{L}}_{\text{Instance-CL }}=\sum _{i=1}^{2M}{\ell }_i^I/2M$$

2.2 Clustering

通过无监督聚类将语义类别结构编码到表示中。与 Instance-CL 不同，聚类侧重于高维语义概念，并试图将来自相同语义类别的实例聚集在一起。假设数据由$ K $个语义类别组成，每个类别在表示空间中以其质心为特征， μ k , k ∈ { 1 , ⋯   , K } \mu_k ,k \in \{1,\cdots,K\} μk​,k∈{1,⋯,K}。设 $e_j=\psi (x_j)$为特征生成器的输出，受Hinton(2008)启发使用 t-分布来计算当前样本$x_j$分配到类簇集合$k$的概率，$\alpha$为t-分布的自由度，在此取$\alpha =1$。

$$q_{jk}=\frac{{\left(1+{\Vert e_j-{\mu }_k\Vert }_2^2/\alpha \right)}^{-\frac{\alpha +1}{2}}}{{\sum }_{k^{\prime }=1}^K{\left(1+{\Vert e_j-{\mu }_{k^{\prime }}\Vert }_2^2/\alpha \right)}^{-\frac{\alpha +1}{2}}}$$

为何公式(3)是一个t分布？

乍一看好像和$Z=\frac{X}{\sqrt{Y/n}}\sim t(n-1)$的经典形式没什么关系。

但简单点来看，当$\alpha =1$时简化一下可以看到单独挑出分子来看其实是服从柯西分布的。

Cauchy Distuibution: $f(x|\theta )=\frac{1}{\pi }\frac{1}{1+(x-\theta {)}^2}$。柯西分布本质上是一种**“低峰厚尾的病态的正态分布”**。

如DEC（Xie et al. 2016）本文使用一个线性层$f(\cdot )$来近似每个聚类的质心，并利用DEC提出的辅助分布迭代细化。(为什么利辅助统计量后迭代细化并没有解释，应该是在DEC论文中有详细阐述)。其中$p_{jk}$表示辅助概率，定义为.
$$p_{jk}=\frac{q_{jk}^2/f_k}{{\sum }_{k^{\prime }}{q}_{jk}^2/f_{k^{\prime }}}$$
其中$f_k={\sum }_{j=1}^M{q}_{jk}$。

What is 辅助统计量？

Def：如果统计量$S(\mathbf{X})$的分布与$\theta$无关，则称$S(\mathbf{X})$为$\theta$的辅助统计量。

一般而言分为两种

1. 位置族辅助统计量

   e.g. $X_1,\cdots ,X_N$的$pdf$为$f(x-\mu )$, 极差$R=X_{(n)}-X_{(1)}$是辅助统计量。

2. 尺度族辅助统计量

   e.g. $X_1,\cdots ,X_N$的$pdf$为$\frac{1}{\sigma }f(x/\sigma )$，则$X_1/X_n,\cdots ,X_{n-1}/X_n$这$n-1$个与统计量都是辅助统计量。

3. 位置-尺度族辅助统计量

   e.g. $X_1,\cdots ,X_N$的$pdf$为$\frac{1}{\sigma }f((x-\mu )/\sigma )$，则$\frac{\bar{X}-\mu }{\sigma }$是辅助统计量。

$f_k$可以解释一个minibatch中的软聚类频率。该目标分布首先通过平方提高了（原文为sharpens，Oxford释义：~ (sth) (up)to become or make sth better, more skilful, more effective, etc. than before （使）提高，改善）软分配概率$q_{jk}$，然后用聚类频率$f_k$对其进行归一化。通过这样做，可以鼓励从聚类器学习到高置信簇分配分布，同时克服不均衡聚类带来的偏倚。

之后通过优化目标之间的 KL 离散度，将聚类分配概率推向目标分布，
$${\ell }_j^C=\mathrm{K}\mathrm{L}\left[p_j\Vert q_j\right]=\sum _{k=1}^K{p}_{jk}\log \frac{p_{jk}}{q_{jk}}$$
聚类的 loss 最终可以表示为
$${\mathcal{L}}_{\text{Cluster }}=\sum _{j=1}^M{\ell }_j^C/M$$
Xie 等人（2016）最初提出的该种Loss是要进行Layer-wise的更新的，本文通过公式(6)取了平均之后简化为端到端训练，每次迭代再更新分布。

2.3 Overall objective

$$\begin{array}{rl}\mathcal{L}& ={\mathcal{L}}_{\text{Instance-CL }}+\eta {\mathcal{L}}_{\text{Cluster }}\\ & =\sum _{j=1}^M{\ell }_j^C/M+\eta \sum _{i=1}^{2M}{\ell }_i^I/2M\end{array}$$
$\eta$用于平衡SCCL的对比损失和聚类损失，本文选取$\eta =10$ 。

3. Experiments

3.1 Exp results

除了Biomedical这种文本语料比较特异的文本，其他数据集都表现较好且提升幅度较大。（不过baseline是不是有点少?）

3.2 Ablation study

SCCL-seq是指先对比学习再聚类，而不是放到一个框架中优化loss之和。Fig.3可以看到还是融合框架中更具有竞争力。

实线：groundtruth真值标签；虚线：模型预测的标签

对于给定的簇，簇内距离是质心与该簇内所有样本之间的平均距离，簇间距离是与其最近的近邻簇之间的距离。

聚类是趋向于增大簇内距离减小簇间距离的学习过程，但是我们观察到左上角的图用groundtruth的时候500个iteration之后聚类内的簇内距离是会变大的，可能就是来自不同的ground-truth聚类的数据在聚类开始之前通常在嵌入空间中有很大的重叠，此时只用聚类很难将其分开。

而Instance-CL只关注实例区分，会趋向于分散embedding空间，增大簇内距离减小簇间距离，SCCL利用clustering和Instance-CL进行优势互补。

4. Problems

1. 感觉像几个组件的简单拼接，没有什么实质性的创新
2. baseline较少
3. 对比学习过程有点像《SCAN: Learning to Classify Images without Labels》。SCAN是在对比学习后面接了个softmax近邻分类，第三阶段用的self-labeling（聚类其实就是一个self-labeling的过程）