【文献阅读笔记】Improved Deep Embedded Clustering with Local Structure Preservation

标题（paper）：Improved Deep Embedded Clustering with Local Structure Preservation

期刊 + 时间 + 有无源代码： IJCA + 2017 + 没收集

作者： Xifeng Guo, Long Gao, Xinwang Liu, Jianping Yin

方法名及缩写： Improved Deep Embedded Clustering (IDEC) algorithm

算法框架：

流程图 ：

全连接的自编码器

主要创新点： 利用欠完备的自编码器考虑局部结构

动机： 1、定义的聚类损失可能会破坏特征空间，从而导致无代表性的无意义特征，从而影响聚类性能。2、聚类损失并不能保证局部结构的保存。因此，特征转换可能会被误导，导致嵌入空间的损坏。

目标函数：
$$L=L_r+\gamma L_c$$
$L_r$网络重构损失（平均平方误差），$L_c$​聚类损失（DEC的KL散度考虑的那个）
$$L_r=\sum _{i=1}^n\Vert x_i-g_{W^{\prime }}(z_i){\Vert }_2^2$$
$L_r$就是将降噪自编码器中的$\tilde{x}$这一步不要。

优化步骤： 梯度下降和反向传播（根据聚类结果微调encoders但是由于损失函数中考虑了重构损失，因此这里并没有舍弃decoders）

1、Update autoencoder’s weights and cluster centers.
$$\begin{array}{c}\frac{\partial L_c}{\partial z_i}=2\sum _{j=1}^K{\left(1+\Vert z_i-{\mu }_j{\Vert }^2\right)}^{-1}(p_{ij}-q_{ij})(z_i-{\mu }_j)\\ \frac{\partial L_c}{\partial {\mu }_j}=2\sum _{i=1}^n{\left(1+\Vert z_i-{\mu }_j{\Vert }^2\right)}^{-1}(q_{ij}-p_{ij})(z_i-{\mu }_j)\end{array}$$

$${\mu }_j={\mu }_j-\frac{\lambda }{m}\sum _{i=1}^m\frac{\partial L_c}{\partial {\mu }_j}$$

decoders 权重：
$$W^{\prime }=W^{\prime }-\frac{\lambda }{m}\sum _{i=1}^m\frac{\partial L_r}{\partial W^{\prime }}$$
encoders 权重：
$$W=W-\frac{\lambda }{m}\sum _{i=1}^m\left(\frac{\partial L_r}{\partial W}+\gamma \frac{\partial L_c}{\partial W}\right)$$
Update target distribution ：在每$T$次迭代中使用所有嵌入点更新目标分布: $x_i$的标签：
$$s_i=\arg \underset{j}{\max }{q}_{ij}$$
注解：（优缺点 + 随便想记的内容 ）

1、这篇和Deep Clustering with Convolutional Autoencoders 有类似的地方，但是这篇在前面，因此个人感觉DCEC可以看作是这篇的进一步改进。

2、本文与Deep Clustering with Convolutional Autoencoders 的关系：

本文和DCEC有着类似的结构和概念图，都可以看作是对DEC网络的改进，都利用在DEC的基础上考虑了局部结构（所利用的方法不同）。

3、作者在文中提到受“Deep Subspace Clustering with Sparsity Prior”的启发，利用undercomplete antoencoders（欠完备自编码器）

关于欠完备自编码器：百度百科说是编码维度$h$小于输入维度$x$的编码器（我感觉卷积自编码器因该也算一种欠完备自编码器）

4、作者在文中提到利用的是堆叠降噪自编码器进行预训练，再次之后，为了聚类作者直接将堆叠降噪自编码器中的加入噪声的过程去除（不在加入噪声），那么该编码器将退化为欠完备的自编码器

5、对所有数据集网络层encoders$d-500-500-2000-10$, decoders$10-2000-500-500-d$

denoising autoencoder 降噪自编码器

在输入过程中随机人为加入噪声，也就是有概率将部分输入节点值为0，具体可以参考

目标函数：
$$L=\Vert x-g_{W^{\prime }}(f_W(\tilde{x})){\Vert }_2^2$$
$\tilde{x}$是样本$x$加入噪声后的形式。迫使自编码器进行降噪而不是直接将上一层的输出直接作为这一层的输入（对结果误差较小的节点可以认为是噪声）