常见降维方法：PCA,KPCA,LDA,T-SNE资料整理

1. PCA

• 主成分分析

• 数据原来有k维，经过PCA后降至n维，其中，k<=n

• 问题来了，如何在降维的同时，尽可能地保留原始数据的有用信息呢？

• 最大方差理论就可以，为什么呢？

• 因为，在信号处理中，我们知道有个信噪比(定义为:信号的方差/噪声的方差)的概念，信噪比越大越好，也是就信号的方差越大越好(有用信息越多)，噪声的方差越小越好(噪声信息越少)，所以，如果数据从n维降至k维后，方差变大，则表示降维的同时保留了更多的有用信息

• 具体怎么增大信息方差呢？见下面推导
  １． $A\cdot B=|A||B|cos(a)$，当$B$为过原点的单位向量时，可以得到$A\cdot B=A向量投影到B向量上的长度$
  ２． 不同的基可以对同样一组数据给出不同的表示，并且如果基的数量少于向量本身的维数，则可以达到降维的效果，那么如何选择k个基来最大程度地保留原始n维数据中的有用信息
  ３．PCA需要先对每一个属性进行零均值化，也就是对每个属性减去该属性在所有样本上的均值，这样所有属性便可以分布在远点周围了
  ４．一个属性的方差可以看做是每个元素与属性均值的差的平方和的均值，即：$Var(a)=\frac{1}{m}{\sum }_{i=1}^m(a_i-\mu {)}^2$，根据第三步可知$\mu =0$，所以简化为：$Var(a)=\frac{1}{m}{\sum }_{i=1}^m{a}_i^2$
  ５．问题转化为：寻找一个一维基，使得所有数据变换为这个基上的坐标表示后，方差值最大
  ６．从直观上说，让两个属性尽可能表示更多的原始信息，我们是不希望它们之间存在（线性）相关性的，因为相关性意味着两个属性不是完全独立，必然存在重复表示的信息，两个属性之间的相关性可以由协方差来表示：
  
  我们知道$\bar{X}=0$， $\bar{Y}=0$， 所以有：$Cov(a,b)=\frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i$ ，当协方差为0时，两个属性便相互独立了
  ７．所以，目标变为：将一组n维向量降为k维，其目标是选择k个单位（模为1）正交基，使得原始数据变换到这组基上后，各属性两两间协方差为0，而属性的方差则尽可能大（在正交的约束下，取最大的k个方差）
  ８．现在我们假设有一组二维(两个属性)数据$X$：
  $X=\left(\begin{array}{cccc}{a}_1& a_2& \cdots & a_m\\ b_1& b_2& \cdots & b_m\end{array}\right)$
  我们试着算算下面的矩阵惩罚：
  $C=\frac{1}{m}X{X}^{\mathsf{T}}=\left(\begin{array}{cc}\frac{1}{m}{\sum }_{i=1}^m{a}_i^2& \frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i\\ \frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i& \frac{1}{m}{\sum }_{i=1}^m{b}_i^2\end{array}\right)$
  是不是有些熟悉了？对角线上不就是各个方差吗？其他的边边角角不就是两两属性间的协方差吗？
  ９．设$X$对应的协方差矩阵为$Y$，而$P$是一组基按行组成的矩阵，设$Y=PX$，则$Y$为$X$对$P$做基变换后的数据。设$Y$的协方差矩阵为$D$，我们推导一下$D$与$C$的关系：
  $\begin{array}{lll}D& =& \frac{1}{m}Y{Y}^{\mathsf{T}}\\ & =& \frac{1}{m}(PX)(PX{)}^{\mathsf{T}}\\ & =& \frac{1}{m}PX{X}^{\mathsf{T}}{P}^{\mathsf{T}}\\ & =& P(\frac{1}{m}X{X}^{\mathsf{T}})P^{\mathsf{T}}\\ & =& PC{P}^{\mathsf{T}}\end{array}$
  １０．从上面的推导我们可以看出，我们要找的$P$不是别的，而是能让原始协方差矩阵($C$)对角化的$P$，那为什么是要$D$对角化呢？看看第８步不就明白了吗
  １１．现在所有焦点都聚焦在了协方差矩阵对角化问题上，而对角化的实现高数课上肯定教过啦：
  $E^{\mathsf{T}}CE=\Lambda =\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)$
  其中$\Lambda$为对角矩阵，其对角元素为各特征向量对应的特征值（可能有重复）
  １２．所以，我们找到了$P=E^{\mathsf{T}}$
  $P$是协方差矩阵的特征向量单位化后按行排列出的矩阵，其中每一行都是$C$的一个特征向量。如果设$P$按照$\Lambda$中特征值的从大到小，将特征向量从上到下排列，则用$P$的前k行组成的矩阵乘以原始数据矩阵$X$，就得到了我们需要的降维后的数据矩阵$Y$，PCA方法就此实现了

  最后，总结下步骤吧：
  设有m条n维数据。

  1）将原始数据按列组成n行m列矩阵$X$

  2）将$X$的每一行（代表一个属性）进行零均值化，即减去这一行的均值

  3）求出协方差矩阵$C=\frac{1}{m}X{X}^{\mathsf{T}}$

  4）求出协方差矩阵的特征值及对应的特征向量

  5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵$P$

  6）$Y=PX$即为降维到k维后的数据

2. KPCA

• 我们知道PCA对于非高斯分布的数据的降维效果不太好，所以如果能够有一种非线性的降维方法，可能会解决这个问题
• 至于为什么PCA对于高斯分布数据的降维效果最好，可以从PCA的算法过程来看，我们知道PCA分解出来的是不相关的向量，而在假设高斯模型的前提下，不相关与独立是等价的，这样可以保证投影矩之间相差最大，ICA就是用来处理非高斯模型，分解出来的是独立的向量
• 对于KPCA来说，什么时候用它呢？当数据在低维空间中不是线性可分时，我们可以通过核函数将原始数据映射到高维空间中，通过选择合适的核函数可以达到线性可分的要求，再使用PCA就可以啦
• 核函数的定义：
  １．$K(x,y)=<\phi (x),\phi (y)>$，其中$x$和$y$是低维的输入向量，$\phi$是从低维到高维的映射，$<x,y>$是$x$和$y$的内积
  ２．KPCA中，刚好可以利用核函数的特点，反正我们的目的就是求数据在高维空间的内积而已（协方差矩阵），又何必知道怎么映射的呢？
• 常用的核函数有：
  １．线性核函数
  效果与PCA一样，$K(x,y)=x^{\mathsf{T}}y+c$
  ２．多项式核函数
  $K(x,y)=(a{x}^{\mathsf{T}}y+c{)}^d$
  ３．高斯核函数，RBF的典型代表之一
  $K(x,z)=exp(-\frac{||x-z|{|}^2}{2{\sigma }^2})$

3. LDA

• 线性判别分析

• 相比于PCA，LDA是监督学习，也就是需要每个样本的类别标签，可以用于分类任务，同样是基于数据高斯分布的假设，算法思想为：投影后类内方差最小，类间方差最大，形象的图可以参见下图：
  
  上图来自这篇博客

• 那么，如何实现上面所提到的思想呢？以二分类为例：
  １．假设数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( ( x m , y m ) ) } D=\{(x_1,y_1), (x_2,y_2), ...,((x_m,y_m))\} D={(x1​,y1​),(x2​,y2​),...,((xm​,ym​))},其中任意样本$x_i$为$n$维向量， y i ∈ { 0 , 1 } y_i \in \{0,1\} yi​∈{0,1}。我们定义$N_j(j=0,1)$为第$j$类样本的个数，$X_j(j=0,1)$为第$j$类样本的集合，而${\mu }_j(j=0,1)$为第$j$类样本的均值向量，定义${\Sigma }_j(j=0,1)$为第$j$类样本的协方差矩阵（严格说是缺少分母部分的协方差矩阵），具体公式如下：
  ${\mu }_j=\frac{1}{N_j}\sum _{x\in X_j}x(j=0,1)$
  ${\Sigma }_j=\sum _{x\in X_j}(x-{\mu }_j)(x-{\mu }_j{)}^T(j=0,1)$
  ２．由于类别只有两类，所以只需要将数据投影到一条直线上就可以了，详见上图，假设投影直线是向量$w$,则对任意一个样本本$x_i$,它在直线$w$的投影为$w^{\mathsf{T}}{x}_i$,对于我们的两个类别的中心点${\mu }_0$,${\mu }_1$,在在直线$w$的投影为$w^{\mathsf{T}}{\mu }_0$和$w^{\mathsf{T}}{\mu }_1$
  ３．根据投影后类内方差最小，类间方差最大思想，我们将文字语言转换为数学表达式：
  ①　最大化类间距离：$||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2$
  ②　同类样本投影点的协方差$w^T{\Sigma }_{0}w$和$w^T{\Sigma }_{1}w$尽可能的小，即最小化$w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w$
  综上：
  $\underset{w}{\underbrace{argmax}}J(w)=\frac{||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2}{w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w}=\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\Sigma }_0+{\Sigma }_1)w}$
  其中，定义类内散度矩阵$S_w$(也就是类内方差嘛)为：
  $S_w={\Sigma }_0+{\Sigma }_1=\sum _{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T$
  定义类间散度矩阵$S_b$(也就是两个均值点间的距离的平方嘛)为：
  $S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$
  所以，综上化简一下优化目标：
  $\underset{w}{\underbrace{argmax}}J(w)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$

  上面的优化目标其实就是广义瑞利商，具体的定义可以参考这篇博客，这里我就直接给出最优$w$的等式吧：
  $w=S_w^{-1}({\mu }_0-{\mu }_1)$
  因此，只要求出原始二类样本的均值和方差就可以确定最佳的投影方向$w$了

4. T-SNE

• T-SNE 成立的前提基于这样的一个假设：我们现实世界观察到的数据集，都在本质上有一种低维的特性（low intrinsic dimensionality），尽管它们嵌入在高维空间中，甚至可以说，高维数据经过降维后，在低维状态下，更能显现其本质特性，这其实也是流形学习（Manifold Learning）的基本思想，具体实践代码可以参考这篇博客