Orthogonal self-guided similarity preserving projection for classification and clustering

• 待解决问题
  特征表示需求
  (1)需要最合适的特征表示来定义数据的内在结构
  (2)需要使用合适的数据内在结构来进行特征提取。

• 创新点
  提出了一种统一的学习框架orthogonal self-guided similarity preserving projection(OSSPP)正交自导相似性保留投影方法，同时获得数据的最优特征表示和内在结构。其中，数据的相似结构信息由投影数据的重构系数编码，同时要求投影数据通过保留相似度正则项来遵循相似结构。

• 框架

P是投影矩阵，将源数据投影到低维子空间去学习重构系数矩阵Z，同时Z也给反馈P，最后用P和W去实现降维和子空间聚类。

• RELATED WORK

  本文模型基于LS3C（latent space sparse subspace clustering).
  每个X中的样例可以被最多$d_l$个样本线性表示。

$$x_i=X{z}_i,z_{ii}=0,{\Vert z_i\Vert }_0\le d_{\ell }\text{\hspace{1em}(1)}$$

​ 其中$z_i$是重构系数向量。将（1）改写为矩阵形式：

$$\min \Vert Z{\Vert }_1,s.t.X=XZ,\mathrm{diag}(Z)=0\text{\hspace{1em}(2)}$$

​ 其中$\Vert Z{\Vert }_1={\sum }_{i=1}^n{\sum }_{j=1}^n\left|Z_{ij}\right|$，用1范数表示重构系数矩阵Z。
​ 加噪声E，$X=XZ+E$:

$$\underset{Z}{\min }\Vert Z{\Vert }_1+\gamma \Vert X-XZ{\Vert }_F^2,s.t.diag(Z)=0\text{\hspace{1em}(3)}$$

​ LS3C将样本嵌入低维空间，发现空间中的稀疏编码。
​ 用投影矩阵P将训练样本从源高维特征空间投影到t维潜在输出空间。通过最小化以下损失方程实现：

$$\begin{array}{rl}\left[P^{\ast },Z^{\ast }\right]& =\underset{P,Z}{\min }J(P,Z,X)\\ \text{ s.t. }P{P}^T& =I,\mathrm{diag}(Z)=0\end{array}\text{\hspace{1em}(4)}$$

​ 其中：

​ $$J(P,Z,X)=\Vert Z{\Vert }_1+{\gamma }_1\Vert PX-PXZ{\Vert }_F^2+{\gamma }_2{\Vert X-P^{T}PX\Vert }_F^2$$

​ 前两项确保数据在低维空间的稀疏性和重构性，最后一项是正则化项，确保投影保持主要数据能量。

​ 增加一个仿射约束：

$$\begin{gathered} \left[P^{\ast },Z^{\ast }\right]=\underset{P,C}{\min }J(P,Z,X) \\ s.t.P{P}^T=I,Z^{T}1=1,\mathrm{diag}(Z)=0\text{\hspace{1em}(5)} \end{gathered}$$

​ 处理位于仿射单元的数据。
​ 上述模型保留了稀疏结构，失去了相似结构。

• OSSPP

  • 主要思想：使用投影数据的重构系数对相似结构信息编码，且在降维过程中遵循相似结构。其投影矩阵P和重构系数矩阵Z迭代更新。
    若Z可获得相似性，则任意两个投影点$P^T{x}_i\text{、}{P}^T{x}_j$在数据分布的固有几何形状上接近，都具有较大的权值$Z_{ij}$。
    OSSPP目标函数：
    $$\begin{gathered} \left[P^{\ast },Z^{\ast }\right]=\underset{P,Z}{\min }F(P,Z) \\ s.t.P^{T}P=I,\mathrm{diag}(Z)=0,Z\ge 0,\forall i\text{\hspace{1em}(6)} \end{gathered}$$

    其中：
    $$F(P,Z)={\Vert P^{T}X-P^{T}XZ\Vert }_F^2+\alpha {\Vert X-P{P}^{T}X\Vert }_F^2+\beta \sum _{i=1}^n\sum _{j=1}^n{\Vert P^T{x}_i-P^T{x}_j\Vert }^2{Z}_{ij}$$

    重构系数矩阵Z是非负的，可以用作图权重。相比于LS3C去掉了对Z的仿射约束，以更好地抓取数据的相似结构。新增的最后一项是保留相似性的正则化项（普通正则化项*重构系数），目的使投影数据在降维过程遵循相似结构。

• 优化

  分两步：

  1. 固定Z求P
  2. 固定P求Z
  • 固定Z求P

  固定Z后，(6)可被写为：

  $$\begin{array}{rl}{P}^{\ast }=& \arg \underset{P}{\min }{\Vert P^{T}X-P^{T}XZ\Vert }_F^2\\ & +\alpha {\Vert X-P{P}^{T}X\Vert }_F^2+\beta \mathrm{Tr}\left(P^{T}XL{X}^{T}P\right)\\ \text{ s.t. }{P}^{T}P=I& \end{array}\text{\hspace{1em}(7)}$$

  其中L=D-Z是图拉普拉斯矩阵。D是$D_{jj}={\sum }_k{Z}_{jk}$的对角阵。考虑约束$ P^{T} P=I​$，有($\left|A\right|_{F}^{2}=Tr(ATA)​$)：

  $$\begin{array}{rl}{P}^{\ast }=& \arg \underset{P}{\min }\mathrm{Tr}\left(P^T(X-XZ)(X-XZ{)}^{T}P\right)\\ & +\alpha \mathrm{Tr}\left(X^{T}X-P^{T}X{X}^{T}P\right)+\beta \mathrm{Tr}\left(P^{T}XL{X}^{T}P\right)\end{array}\text{\hspace{1em}(8)}$$

  使$(X-XZ)(X-XZ{)}^T=M$，可得：

  $$\begin{gathered} P^{\ast }=\arg \underset{P}{\min }\mathrm{Tr}\left(P^T\left(M-\alpha X{X}^T+\beta XL{X}^T\right)P\right) \\ s.t.P^{T}P=I\text{\hspace{1em}(9)} \end{gathered}$$

  则转化为求解最小特征值问题：

  $$\left(M-\alpha X{X}^T+\beta XL{X}^T\right)p_i=\lambda p_i\text{\hspace{1em}(10)}$$

  • 固定P求Z

  固定P后，(6)可被写为：

  $$\begin{gathered} \underset{Z}{\min }{\Vert P^{T}X-P^{T}XZ\Vert }_F^2+\beta \sum _{i=1}^n\sum _{j=1}^n{\Vert P^T{x}_i-P^T{x}_j\Vert }^2{Z}_{ij} \\ s.t.\mathrm{diag}(Z)=0,Z\ge 0\text{\hspace{1em}(11)} \end{gathered}$$

  令$H=P^{T}X=\left[h_1,\dots ,h_n\right]\in {\Re }^{d\times n}$，$R_{ij}={\Vert P^T{x}_i-P^T{x}_j\Vert }^2(R=\left[r_1,\dots ,r_n\right]\in {\Re }^{n\times n})$，$\Theta \in {\Re }^{n\times n}$是 一个全1矩阵。$\odot$是Hadamard变换。得(12)
  Hadamard变换（两个向量对应元素相乘，由+1和-1构成的正交方阵）

  $$\begin{gathered} \underset{Z}{\min }\Vert H-HZ{\Vert }_F^2+\beta \mathrm{Tr}(\Theta (R\odot Z)) \\ s.t.diag(Z)=0,Z\ge 0,\forall i\text{\hspace{1em}(12)} \end{gathered}$$

  可将(12)中的优化问题分解为n个独立的子问题。每个子问题对应一个编码系数$z_i$对应于$h_i$，且每个子问题是加权非负稀疏编码问题。

  $$\begin{gathered} \underset{z_i}{\min }\sum _{k=1}^n{r}_i^k{z}_i^k+\beta {\Vert h_i-H{z}_i\Vert }^2 \\ s.t.z_i\ge 0,z_i^i=0,\forall i\text{\hspace{1em}(13)} \end{gathered}$$

  其中$z_i^k、r_i^k$是向量$z_i$和$r_i$的第K个元素。

  $$\underset{z\ge 0}{\min }\Vert z{\Vert }_{r,1}+\beta {\Vert h_i-H_{-i}z\Vert }_2^2\text{\hspace{1em}(14)}$$

  其中$H_{-i}$表示向量{h1,…,hi−1,hi+1,…,hn}\left\{h_{1}, \ldots, h_{i-1}, h_{i+1}, \ldots, h_{n}\right\}{h1​,…,hi−1​,hi+1​,…,hn​}，$\Vert \cdot {\Vert }_{r,1}$是加权L1范数定义为：$\Vert z{\Vert }_{r,1}\triangleq {\sum }_{k=1}^n{r}^k\left|z^k\right|$，使z=f，有：

  $$\underset{f\ge 0,z}{\min }\Vert f{\Vert }_{r,1}+\beta {\Vert h_i-H_{-i}z\Vert }_2^2,s.t.z=f\text{\hspace{1em}(15)}$$

  (15)的增广拉格朗日函数为：

  $$\mathcal{L}=\arg \underset{f\ge 0,z}{\min }\Vert f{\Vert }_{r,1}+\beta {\Vert h_i-H_{-i}z\Vert }_2^2+⟨y,z-f⟩+\frac{\mu }{2}\Vert z-f{\Vert }_2^2\text{\hspace{1em}(16)}$$

  变量通过最小化拉格朗日方程迭代更新，以下是解(16)的步骤。

  step 1. 更新Z。

  $$\mathcal{L}=\arg \underset{z}{\min }\beta {\Vert h_i-H_{-i}z\Vert }_2^2+\frac{\mu }{2}{\Vert z-f+\frac{y}{\mu }\Vert }_2^2\text{\hspace{1em}(17)}$$

  使$b=f-\frac{y}{\mu }$，可重写为：

  $$\mathcal{L}=\arg \underset{z}{\min }\beta {\Vert h_i-H_{-i}z\Vert }_2^2+\frac{\mu }{2}\Vert z-b{\Vert }_2^2\text{\hspace{1em}(18)}$$

  求导，$\frac{\mathcal{L}}{\partial z}=0$

  $$z={\left(\beta {\left(H_{-i}\right)}^T\left(H_{-i}\right)+\frac{\mu }{2}I\right)}^{-1}\left(\beta {\left(H_{-i}\right)}^T{h}_i+\frac{\mu }{2}b\right)\text{\hspace{1em}(19)}$$

  **step 2.**更新f。

  $$\mathcal{L}=\arg \underset{f\ge 0}{\min }\Vert f{\Vert }_{r,1}+\frac{\mu }{2}{\Vert z-f+\frac{y}{\mu }\Vert }_2^2\text{\hspace{1em}(20)}$$

  经一维收缩（软阈值）后：

  $$f_i^k=\max \left(0,\mathrm{shrink}\left(z_i^k+\frac{y_i^k}{\mu },\frac{r_i^k}{\mu }\right)\right)\text{\hspace{1em}(21)}$$

  定义图权重矩阵：

  $$W=\left(Z+Z^T\right)/2\text{\hspace{1em}(22)}$$

  与NNLRS（非负低秩稀疏图）区别：

  NNLRS目标函数：

  $$\begin{gathered} \underset{Z,E}{\min }\Vert Z{\Vert }_{\ast }+\beta \Vert Z{\Vert }_1+\lambda \Vert E{\Vert }_{2,1} \\ s.t.X=AZ+E,z\ge 0\text{\hspace{1em}(23)} \end{gathered}$$

  区别：

  1. NNLRS的Z定义在源特征空间，OSSPP的Z定义在目标低维特征空间，有更好的特征和相似性。
  2. NNLRS要剪枝，OSSPP不用剪枝，效果好。