【文献阅读笔记】Deep Embedding Network for Clustering

标题（paper）：Deep Embedding Network for Clustering

期刊 + 时间 + 有无源代码： 2014 22nd International Conference on Pattern Recognition 没收集

作者： Peihao Huang, Yan Huang, Wei Wang, Liang Wang

方法名及缩写： deep neural network based model named deep embedding network (DEN)

算法框架： 自编码器+两个约束（保留局部特性约束，组稀疏约束）

流程图 ：

主要创新点： 在自编码器的特征层加入两个约束获得更好的聚类结果（感觉是一个非常常规的创新）

动机： 现有的聚类方法大多侧重于对实例之间的相似/不相似关系进行建模，而忽略了提取更有效的表示，这在很大程度上影响了聚类的性能。（我对这个动机不是很理解，我感觉本文新加的约束，从公式上看好像也是一种特征层中样本的相似关系）

目标函数： (输入数据类型不同，目标函数不同)
$$E=E_r+\alpha E_g+\beta E_s$$
$\alpha$和$\beta$是需要调整的参数。

$E_r$是自编码器的重构损失

$E_g$是保留局部特性约束的损失

$E_s$是组稀疏约束的损失

$E_r$：

encoders:
$$f(\mathbf{x})=W_3^T\varphi (W_2^T\varphi (W_1^T\mathbf{x}))$$
$\varphi (\mathbf{x})=1/(1+e^{-\mathbf{x}})$

decoders:

二值数据：
$$\begin{gathered} \hat{f}(\mathbf{x})=\varphi (W_1^T\varphi (W_2^T\varphi (W_3^{T}f(\mathbf{x})))) \\ {E}_r=-\sum _{i=1}^N[{\mathbf{x}}_i\log \hat{f}({\mathbf{x}}_i)+(1-{\mathbf{x}}_i)\log (1-\hat{f}({\mathbf{x}}_i))] \end{gathered}$$
真实值数据：
$$\begin{gathered} \hat{f}(\mathbf{x})=W_1^T\varphi (W_2^T\varphi (W_3^{T}f(\mathbf{x}))) \\ {E}_r=\sum _{i=1}^N\Vert {\mathbf{x}}_i-\hat{f}({\mathbf{x}}_i){\Vert }^2 \end{gathered}$$
$E_g$​：
$$E_g=\sum _{i,j\in k(i)}{S}_{ij}\Vert f({\mathbf{x}}_i)-f({\mathbf{x}}_j){\Vert }^2$$
$S_{ij}$是heat kernel: $S_{ij}=e^{-\frac{\Vert {\mathbf{x}}_i-{\mathbf{x}}_j{\Vert }^2}{t}}(t\mathrm{is}\mathrm{a}\mathrm{tuning}\mathrm{parameter})$

$k(i)$是包含数据$x_i$的$k$个近邻索引的集合

$E_s$​：
$$E_s=\sum _{i=1}^N\sum _{g=1}^G{\lambda }_g\Vert f^g({\mathbf{x}}_i)\Vert$$
将隐藏单元划分为$G$组，其中$G$是假设的簇数。当给定数据点$x_i$时，我们得到变换后的表示$f(x_i)$和$G$组单位 { f g ( x i ) } g = 1 G \{f^g(x_i)\}^G_{g=1} {fg(xi​)}g=1G​。

${\lambda }_g$是组稀疏的权重，${\lambda }_g=\lambda \sqrt{n_g}$ ， $n_g$是组的大小，$\lambda$是常数

优化步骤： 为了学习所提出的深度嵌入网络的网络权重，我们使用了一种两阶段算法，该算法包含一个预训练过程来初始化网络权重，然后是一个微调过程。需要注意的是，这两个过程都是无人监督的。

注解：（优缺点 + 随便想记的内容 ）

1、一个很常规的换网络层的创新

2、网络预训练步骤我不是很明白

3、本文的动机也看的不是很清楚

restricted Boltzmann machine （RBM） 受限玻尔兹曼机

预训练中的一个基本概念。RBM由一个可见层和一个隐藏层组成。可见层的每个节点与隐藏层的每个节点相连，这些节点的值都是二值的。
$$F(\mathbf{v},\mathbf{h})=-{\mathbf{v}}^{T}W\mathbf{h}-{\mathbf{b}}_1\mathbf{v}-{\mathbf{b}}_2\mathbf{h}$$

$v$和$h$是可见层和隐藏层的节点。$W$是可见层和隐藏层的权重矩阵。$b_1$和$b_2$是可见层和隐藏层的偏置。

Gaussian restricted Boltzmann machine (GRBM) 高斯受限玻尔兹曼机

与restricted Boltzmann machine （RBM） 受限玻尔兹曼机唯一不同是可以处理真实值：
$$\begin{array}{rl}F(\mathbf{v},\mathbf{h})& =\sum _i\frac{{\left(v_i-b_i\right)}^2}{2{\sigma }_i^2}-\sum _i\sum _j\frac{v_i}{{\sigma }_i}{W}_{ij}{h}_j-\sum _j{b}_j{h}_j\end{array}$$
{ W , b ) i , b j } \{W,b)i,b_j\} {W,b)i,bj​}是模型参数。${\sigma }_i$是第$i$个可见层节点的高斯噪声的标准偏差。

RBM 和 GRBM 所有节点的概率分布是一致的：
$$P(\mathbf{v},\mathbf{h})=\frac{1}{Z}\exp (-F(\mathbf{v},\mathbf{h}))$$
$Z$是将$P(v,h)$缩放到$[0,1]$的归一化因子。