【机器学习】【降维】稀疏保持投影（SPP）

稀疏保持投影

参考论文：sparsity preserving projections with applications to face recognition
作者：Lishan Qiao,Songcan Chen,Xiaoyang Tan 2010

一、主要思想

 线性降维方法：PCAf关注于全局，但对于非线性的数据结构，PCA的结果并不好
 流行学习：Isomap,LLE,LE来处理非线性流行结构数据，但他们没有继承传统PCA的优点。LPP是LE的线性近似和NPE和LEA是LLE的线性近似，但是怎么确定邻居的尺寸还是难题。
 SPP模型中，基于改进的稀疏表示来构造邻接权重矩阵。

二、算法步骤

2.1 稀疏表示权重

 给定数据{$x_1,x_2,...,x_n$}，其中$x_i\in R^m$
$$\begin{gathered} mi{n}_{s_i}||s_i|{|}_1 \\ s.t.x_i=X{s}_i，1=1^T{s}_i \end{gathered}$$                                                   （12）
其中$s_i$={$s_{i1,...,s_{i,i-1},0,s_{i,i+1},...,s_{in}}$}T（第$i$个元素为0，意味着把$x_i$移出$X$）,$s_{ij}，j$≠$i$，表示每一个$x_j$对重构$x_i$的贡献，$1$是全1列向量。
最后$S=${$s_1^{\prime },s_2^{\prime },...s_n^{\prime }$}，$s_i^{\prime }$为上述得到的优化的$s_i$。

根据论文《Robust face recognition via sparse representation》，有两种解决上述MSR问题的方法：
 第一种：
           （15）
其中$ϵ$为error tolerance
 第二种：
  用$[X,I]$代替$X$，其中$I$为$m$维单位矩阵
           (16)
其中$t_i$是$m$维向量。

2.2 保持稀疏重构权重

 通过上述计算，我们可以得到稀疏权重矩阵$S$，类似于LLE和NPE，有以下目标函数
    
从而：
  
添加约束$w^{\prime }X{X}^{\prime }w=1$，得到：
    
令$S_{\beta }=S+S^{\prime }-S^{\prime }S$得到：
    
类似于PCA，NPE，最优的$w$就是下面广义特征值问题的前$d$个最大的特征向量：
         (22)
基于上述讨论，总结得到SPP的算法如下：

注：对于许多高维数据，矩阵$X{X}^{\prime }$通常是奇异的，因为训练样本数比特征维数要小的多。为了解决这个问题，训练样本首先被投影到PCA子空间通过对应的特征向量$W_{pca}=[w_1,w_2,...,w_{d’}]$，然后矩阵$X{X}^{\prime }$近似为：

显然这是非奇异的！