【文献阅读笔记】Unsupervised Deep Embedding for Clustering Analysis

标题（paper）：Unsupervised Deep Embedding for Clustering Analysis

期刊 + 时间 + 有无源代码： Proceedings of the 33 rd International Conference on Machine
Learning + 2016 + 没收集

作者： Junyuan Xie， Ross Girshick， Ali Farhadi

方法名及缩写： Deep Embedded Clustering
(DEC)

算法框架： 使用从当前软聚类分配中派生的辅助目标分布来迭代地改进聚类。这个过程逐步改进了聚类和特征表示。

DEC的工作原理是迭代优化基于KL散度的聚类目标和自训练目标分布。

流程图 ：

DEC模型分为两个部分：（1）自编码器用于参数初始化；（2）参数优化(即聚类)。

主要创新点： 利用深度神经网络同时学习特征空间和分配聚类。

动机： 特征空间的选择通常作为应用程序特定的细节留给最终用户来决定。然而很明显，特征空间的选择是至关重要的;除了最简单的图像数据集，在原始像素上使用欧几里德距离聚类是完全无效的。在本文中，我们重新审视了聚类分析，并提出了一个问题：我们能否使用数据驱动的方法来共同解决特征空间和聚类隶属关系?

目标函数：

第一部分：自编码器作非线性映射：$f_{\theta }:X\to Z$ 其中$\theta$是可以学习的参数，$Z$潜在特征表示。

DEC：

（1）初始化参数$\theta$和 { μ j } j = 1 k \{\mu_j\}^k_{j=1} {μj​}j=1k​k个类的类中心点。

（2）利用KL散度进行聚类：

• 第一步计算软聚类
  $$q_{ij}=\frac{(1+\Vert z_i-{\mu }_j{\Vert }^2/\alpha {)}^{-\frac{\alpha +1}{2}}}{{\sum }_{j^{\prime }}(1+\Vert z_i-{\mu }_{j^{\prime }}{\Vert }^2/\alpha {)}^{-\frac{\alpha +1}{2}}},$$
  $\alpha$是Students t 分布的自由度（$\alpha =1$）

  $q_{ij}$是样本$i$被分配到第$j$个类的概率

• KL 散度最小化
  $$L=\mathrm{KL}(P\Vert Q)=\sum _i\sum _j{p}_{ij}\log \frac{p_{ij}}{q_{ij}}.$$

  $p_{ij}$是辅助分布（对最终的表现影响大）

  确定$p_{ij}$​ ：
  $$p_{ij}=\frac{q_{ij}^2/f_j}{{\sum }_{j^{\prime }}{q}_{i{j}^{\prime }}^2/f_{j^{\prime }}},$$
  $f_j={\sum }_i{q}_{ij}$是软聚类的频率。

对上述目标函数的总结：

首先DEC预训练模型，然后去掉自编码器的解码部分。

那么，现在的编码器：
$$L=KL(P\Vert Q)=\sum _i\sum _j{p}_{ij}\log \frac{p_{ij}}{q_{ij}}$$
$q_{ij}$是特征空间$z_i$和聚类中心${\mu }_j$的相似度（可以看作是$z_i$有多大可能属于${\mu }_j$这个类）。$q_{ij}$的计算是学生 t-分布：
$$q_{ij}=\frac{(1+\Vert z_i-{\mu }_j{\Vert }^2{)}^{-1}}{{\sum }_j(1+\Vert z_i-{\mu }_j{\Vert }^2{)}^{-1}}$$
$p_{ij}$​是目标分布：
$$p_{ij}=\frac{q_{ij}^2/{\sum }_i{q}_{ij}}{{\sum }_j\left(q_{ij}^2/{\sum }_i{q}_{ij}\right)}$$
目标分布$P$是由$Q$定义的，所以最小化$L$是一种自我训练

优化：

$z_i=f_W(x_i)$是编码器的映射。在预训练之后，对$z_i$利用k-meas获得最初的聚类中心点${\mu }_j$，然后最小化$L$（梯度下降的方法计算），这里样本$x_i$的预测标号为$argma{x}_j{q}_{ij}$.

对于方向传播：根据$\partial L/\partial z_i$去反向更新编码器$f_W()$, 通过$\partial L/\partial {\mu }_j)$更新聚类中心点${\mu }_j$​
$${\mu }_j={\mu }_j-\lambda \frac{\partial L}{\partial {\mu }_j}$$

优化步骤： 使用带动量的随机梯度下降(SGD)方法对聚类中心 { μ j } \{\mu_j\} {μj​}和DNN参数$\theta$进行联合优化。
$$\begin{array}{cccc}\frac{\partial L}{\partial z_i}& =& \frac{\alpha +1}{\alpha }{\sum }_j(1+\frac{\Vert z_i-{\mu }_j{\Vert }^2}{\alpha }{)}^{-1}& (4)\\ & & \times (p_{ij}-q_{ij})(z_i-{\mu }_j),& \\ \frac{\partial L}{\partial {\mu }_j}& =& -\frac{\alpha +1}{\alpha }{\sum }_i(1+\frac{\Vert z_i-{\mu }_j{\Vert }^2}{\alpha }{)}^{-1}& (5)\\ & & \times (p_{ij}-q_{ij})(z_i-{\mu }_j).& \end{array}$$
然后将梯度$\frac{\partial L}{\partial z_i}$传递给DNN，并在标准反向传播中使用，以计算DNN的参数梯度$\frac{\partial L}{\partial \theta }$。为了发现聚类分配，当在两个连续迭代之间更改聚类分配的点少于$tol\%$时，迭代停止该过程

注解：（优缺点 + 随便想记的内容 ）

1、初始化DEC利用 stacked autoencoder (SAE)

2、自编码器的设计和优化可以查原文

3、所有数据集的网络层数d–500–500–2000–10，d是数据空间的维度

4、基于DAE的改进

5、DEC在预训练之后舍弃了解码过程，同时根据聚类过程实时更新编码器，在DEC中也只考虑了聚类损失（关于这一点我感觉DEC像是把编码过程给他融合到了聚类过程之中，可以理解为在传统方法中将各类范数或者是原始数据重构的过程融合到目标函数中，算在聚类的一个环节里）