【文献阅读笔记】Robust continuous clustering

标题（paper）：Robust continuous clustering

期刊 + 时间 + 有无源代码： Proceedings of the National Academy of Sciences of the United States of America （PNAS） + 2017 + 没收集

作者： Sohil Atul Shaha, and Vladlen Koltun

方法名及缩写： robust continuous clustering (RCC)

算法框架：

流程图 ：

主要创新点： 提出了可以处理高维数据和大规模数据集的聚类算法

动机： 现有的聚类算法在高维上的有效性有限，并且通常需要针对不同的领域和数据集调整参数。

目标函数： RCC
$$\begin{array}{rl}\mathbf{C}(\mathbf{U},\mathbb{L})& =\frac{1}{2}\sum _{i=1}^n\Vert {\mathbf{x}}_i-{\mathbf{u}}_i{\Vert }_2^2\\ & +\frac{\lambda }{2}\sum _{(p,q)\in \mathcal{E}}{w}_{p,q}(l_{p,q}\Vert {\mathbf{u}}_p-{\mathbf{u}}_q{\Vert }_2^2+\Psi (l_{p,q}))\end{array}$$
$w_{p,q}$，$\lambda$是权重，$\mathcal{E}$是图的边集（m-kNN构图）, $\rho ()$是正则化惩罚项。$x$是样本，$u$是对应样本的表示

为了便于优化：引入$l_{p,q}$描述每一个$（p,q）$的连接关系
$$\begin{array}{rl}\mathbf{C}(\mathbf{U},\mathbb{L})& =\frac{1}{2}\sum _{i=1}^n\Vert {\mathbf{x}}_i-{\mathbf{u}}_i{\Vert }_2^2\\ & +\frac{\lambda }{2}\sum _{(p,q)\in \mathcal{E}}{w}_{p,q}(l_{p,q}\Vert {\mathbf{u}}_p-{\mathbf{u}}_q{\Vert }_2^2+\Psi (l_{p,q}))\end{array}$$
$\Psi (l_{p,q})$是忽略连接$(p,q)$的惩罚：当$l_{p,q}\to 1$时（点连）$\Psi (l_{p,q})=0$。

当$l_{p,q}\to 0$（点不连）时$\Psi (l_{p,q})=1$.
$$\rho (y)=\frac{\mu y^2}{\mu +y^2},$$

$$\Psi (l_{p,q})=\mu (\sqrt{l_{p,q}}-1{)}^2$$

RCC-DR
$$\begin{array}{rl}\mathbf{C}(\mathbf{U},\mathbf{Z},\mathbf{D})& =\Vert \mathbf{X}-\mathbf{DZ}{\Vert }_2^2+\gamma \sum _{i=1}^n\Vert {\mathbf{z}}_i{\Vert }_1\\ & +\nu \left(\sum _{i=1}^n\Vert {\mathbf{z}}_i-{\mathbf{u}}_i{\Vert }_2^2+\frac{\lambda }{2}\sum _{(p,q)\in \mathcal{E}}{w}_{p,q}\rho \left(\Vert {\mathbf{u}}_p-{\mathbf{u}}_q{\Vert }_2\right)\right)\end{array}$$
优化步骤： 交替迭代最小化

更新$l_{p,q}$：
$$l_{p,q}={\left(\frac{\mu }{\mu +\Vert {\mathbf{u}}_p-{\mathbf{u}}_q{\Vert }_2^2}\right)}^2.$$
更新$U$:
$$\arg \min \frac{1}{2}\Vert \mathbf{X}-\mathbf{U}{\Vert }_F^2+\frac{\lambda }{2}\sum _{(p,q)\in \mathcal{E}}{w}_{p,q}{l}_{p,q}\Vert \mathbf{U}({\mathbf{e}}_p-{\mathbf{e}}_q){\Vert }_2^2,$$
这里是吧原问题进行简化，后面有详细求解，不想看了，感兴趣可以查原论文。

注解：（优缺点 + 随便想记的内容 ）

1、没看太明白

2、RCC-DR的优化不想看了