【文献阅读笔记】Deep Subspace Clustering with Sparsity Prior

标题（paper）：Deep Subspace Clustering with Sparsity Prior

期刊 + 时间 + 有无源代码： Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence (IJCAI-16) 2016 没收集

作者： Xi Peng, Shijie Xiao, Jiashi Feng, Wei-Yun Yau, and Zhang Yi

方法名及缩写： deeP subspAce clusteRing with spar siTY prior (PARTY)

算法框架：

流程图 ：

网络参数： 网络包括$M+1$层对应$M$个非线性变化（M是偶数）, 签$M/2$层是编码层，剩下的是解码层。

第一层：$h_i^{(0)}=x_i$，

第$m$层：
$${\mathbf{h}}_i^{(m)}=g({\mathbf{W}}^{(m)}{\mathbf{h}}_i^{(m-1)}+{\mathbf{b}}^{(m)})\in {\mathbb{R}}^{d_m}$$
$W^m$是权重，$b^m$是偏差，这两都可以简单理解为网络层参数。$g()$是非线性映射函数

主要创新点： （这个是我自己的主观感受）在深度子空间聚类的框架中引入稀疏先验特性。

（这是他文章里给出的创新说明）

可以看出，PARTY与现有的子空间聚类方法在以下几个方面有显著的不同:1)PARTY不依赖于亲和矩阵，而是直接学习数据的低维表示;2) PARTY具有多层结构，具有较强的数据非线性建模能力;3) PARTY虽然部分类似于堆叠自编码器(SAE)，但它不仅考虑了重构输入数据的局部性，而且在表示学习中引入了结构化的全局先验;4)与基于内核的方法相比，PARTY提供了显式的转换和更好的可扩展性，因为它避免了加载所有数据来计算内核函数;5) PARTY与k-means和大多数现有子空间聚类方法兼容。

动机： 1、现有的方法大多致力于构建高质量的亲和矩阵，而忽略了由亲和矩阵得到的低维表示的重要性。

2、现有的都是线性映射，网络可以进行非线性映射。（现有的方法大多基于浅线性模型，在处理具有非线性结构的数据时可能会失败。）

目标函数：
KaTeX parse error: Undefined control sequence: \lparen at position 442: …3}, & & \text{\̲l̲p̲a̲r̲e̲n̲4\rparen}\end{a…
$J_1$: 样本的重构损失（自编码器产生）
$J_2$: 自表示误差（$C$表示原始数据的稀疏先验信息）
$J_3$: 正则化项（避免网络重构样本的时候过拟合）

$C$的求法：
$$\begin{array}{rl}& \underset{\mathbf{C}}{\min }\sum _{i=1}^n\Vert {\mathbf{x}}_i-\mathbf{X}{\mathbf{c}}_i{\Vert }_2^2+\lambda \Vert \mathbf{c}{\Vert }_1\\ & \text{s.t. }{\mathbf{c}}_{ii}=0,\end{array}$$
本文的聚类方法：

优化步骤： stochastic sub-gradient descent. 随机亚梯度下降：
$$\begin{array}{rl}\mathcal{J}& =\frac{1}{2}\sum _{i=1}^n\left(\Vert {\mathbf{x}}_i-{\mathbf{h}}_i^{(M)}{\Vert }_2^2+{\lambda }_1\Vert {\mathbf{h}}_i^{(\frac{M}{2})}-{\mathbf{H}}^{(\frac{M}{2})}{\mathbf{c}}_i{\Vert }_2^2\right)\\ & +\frac{{\lambda }_2}{2}\sum _{m=1}^M\left(\Vert {\mathbf{W}}^{(m)}{\Vert }_F^2+\Vert {\mathbf{b}}^{(m)}{\Vert }_2^2\right),(6)\end{array}$$
更新$W^m$和$b^m$:
$$\begin{array}{rl}\frac{\partial \mathcal{J}}{\partial {\mathbf{W}}^{(m)}}& =\left({\mathbf{\Delta }}^{(m)}+{\lambda }_1{\mathbf{\Lambda }}^{(m)}\right)({\mathbf{h}}_i^{(m-1)}{)}^T+{\lambda }_2{\mathbf{W}}^{(m)}\\ \frac{\partial \mathcal{J}}{\partial {\mathbf{b}}^{(m)}}& ={\mathbf{\Delta }}^{(m)}+{\lambda }_1{\mathbf{\Lambda }}^{(m)}+{\lambda }_2{\mathbf{b}}^{(m)},\end{array}$$
${\Delta }^{(m)}$:
$$\{\begin{array}{rlr}-\left({\mathbf{x}}_i-{\mathbf{h}}_i^{(M)}\right)\odot g^{\prime }({\mathbf{z}}_i^{(M)}),& & m=M\\ ({\mathbf{W}}^{(m+1)}{)}^T{\mathbf{\Delta }}^{(m+1)}\odot g^{\prime }({\mathbf{z}}_i^{(m)}),& & \text{otherwise}\end{array}$$
${\mathbf{\Lambda }}^{(m)}$:
$$\{\begin{array}{rlr}({\mathbf{W}}^{m+1}{)}^T{\mathbf{\Lambda }}^{(m+1)}\odot g^{\prime }({\mathbf{z}}_i^{(m)}),& & m=1,\cdots ,\frac{M-2}{2}\\ \left({\mathbf{h}}_i^{(\frac{M}{2})}-{\mathbf{H}}^{(\frac{M}{2})}{\mathbf{c}}_i\right)\odot g^{\prime }({\mathbf{z}}_i^{(\frac{M}{2})}),& & m=\frac{M}{2}\\ 0,& & m=\frac{M+2}{2},\cdots ,M\end{array}$$
$\odot$: element-wise multiplication (Hadamard product)
$$\begin{array}{rl}{\mathbf{W}}^{(m)}& ={\mathbf{W}}^{(m)}-\mu \frac{\partial \mathcal{J}}{\partial {\mathbf{W}}^{(m)}},\\ & \\ \text{and}& \\ {\mathbf{b}}^{(m)}& ={\mathbf{b}}^{(m)}-\mu \frac{\partial \mathcal{J}}{\partial {\mathbf{b}}^{(m)}},\end{array}$$
$\mu >0$是学习率，在这篇文章中设置为$2^{-10}$

注解：（优缺点 + 随便想记的内容 ）

1、$M$网络层数，预先定义，该网络也需要预训练和调参（我没注意到论文里有没有说所用的技术）

2、可以看作是基于DSC-Nets（上一篇笔记）网络的改进

3、和DSC-Nets相比，个人感觉：

（1）DSC-Nets在网络结构里面对自表达系数矩阵$C$进行约束，比如$l_1$或者$l_2$范数表示期望$C$具有不同类型的特性（$C$矩阵是要跟着网络损失最小不停迭代的）。但是PARTY将$C$作为先验信息输入到网络中（在网络训练之前，根据原始数据求出可以表示稀疏特性的$C$），在求解网络损失最小时$C$是不变的，仅仅跟新网络参数$W^m$和$b^m$。

（2）DSC-Nets是对$C$矩阵（稀疏表示一般的传统子空间聚类算法都这样干）计算亲和矩阵，然后谱聚类获得聚类结果。PARTY是对$H^{(M/2)}$（原始数据的特征表示）最后一个编码层的结果作分割。这两种本质都是利用Laplacian 作分割原理相似，但是输入数据不一样。

---