PCA、SVD和LDA

原始数据有时有高维特征向量，可能包含很多冗余和噪声。通过降维寻找数据内部的特性，提升特征的表达能力，降低训练复杂度。

1.PCA，主成分分析

PCA,principal components analysis，是一种线性、非监督、全局的降维算法。
在高维空间中，用原有坐标系表示的数据，可能有线性相关的关系；如果变换坐标轴，变换后能用更少的基向量去表示数据，去除线性相关的维度。这样就可以将源数据降维。
如图：原二维空间中，数据中有线性关系；而将坐标系变换到右图后，横坐标更能表示样本的数据，纵坐标作用几乎消失。

• 主成分：通过正交变换，将一组可能存在相关性的变量变换为一组线性不相关的变量，变换后的这组变量叫主成分。

1.1 方差最大原理

1. 推导

• 设样本点集$D=x_i,\cdots ,x_m,x_i\in R^n$，其中样本经过中心化即$x_i=x_i-\mu$。目前样本点由n个正交基$[1,0,\cdots ,0{]}^T,[0,1,\cdots ,0{]}^T,\cdots ,[0,0,\cdots ,1{]}^T$表示。我们想要将坐标轴变换后由k个正交基$w_i,\cdots ,w_k$表示，$w_i^T{w}_i=1,w_i^T{w}_j=0$。
• 为何原数据n维能由k维表示？

我们把正交基$w$想象成一个向量，样本$x_i$在这个轴上的取值，就等于样本在向量上的投影$x_i^{T}w$。

在信号处理领域，认为信号具有较大方差，噪声具有较小方差，信号与噪声比成为信噪比。信噪比越大，信号质量越好。同样的，如果在变换后的轴$w$上，样本的投影方差越大，这个轴对数据的表示越好。

如果样本在某个轴上投影后取值方差小，就代表这个轴上的取值对数据的表达不够好。这个轴上的取值就可以被抛弃 。
$$\begin{array}{rl}{\mu }^{\prime }& =\frac{1}{m}\sum x_i^{T}w=(\frac{1}{m}\sum x_i^T)w=0\\ D(x)& =\frac{1}{m}\sum (x_i^{T}w-{\mu }^{\prime }{)}^2=\frac{1}{m}\sum (x_i^{T}w{)}^2\\ & =w^T(\frac{1}{m}\sum x_i{x}_i^T)w\\ & =w^T\Sigma w\\ & =tr(w^{T}X{X}^{T}w)\end{array}$$
这时需要求解
$$\{\begin{array}{ll}\max & w^T\Sigma w\\ s.t.& w^{T}w=1\end{array}$$
拉格朗日函数
$$\begin{array}{rl}L& =w^T\Sigma w+\lambda (1-w^{T}w)\\ \frac{\partial L}{\partial w}& =2\Sigma w-2\lambda w=0\end{array}$$
得到$\Sigma w=\lambda w$（即$w,\lambda$分别是$\Sigma$矩阵的特征向量和特征值），代入$D(x)=w^T\Sigma w$ 中得到
$$D(x)=\lambda$$
因此想要映射方差最大，取最大的特征值$\lambda$即可
2. 总结
获取数据后

• 对样本数据中心化处理
• 计算协方差矩阵(两两特征之间的斜方差)
• 计算协方差矩阵的特征值、特征向量（eigenvalues, eigenvectors)，将特征值和对应的特征向量按照特征值的大小排序
• 对特征值前k大的特征向量$w_1,w_2,\cdots ,w_k$，通过以下映射将n维样本映射到d维(即生成一个矩阵$W=[w_1,w_2,\cdots ,w_k{]}_{k\times n}^T$,对样本$Wx$变换)
  $$x^{\prime }=\left[\begin{array}{c}{w}_1^T{x}_i\\ w_2^T{x}_i\\ ⋮\\ w_k^T{x}_i\end{array}\right]$$

（由于协方差矩阵是对称矩阵，线代中定理可得，一定能找到矩阵使对称矩阵对角化$P^{-1}AP=\Lambda$，其中$\Lambda$对角线上数据是矩阵A的特征值，而P矩阵的列向量就是A的特征向量，并且如果$\lambda$值不同，对应的特征向量之间正交）

降维后的信息占比定义为
$$\eta =\sqrt{\frac{{\sum }^k{\lambda }_i^2}{{\sum }^n{\lambda }_i^2}}$$

1.2 最小平方误差角度

PCA求解的其实是最佳投影方向，也就是一条直线，可以用线性回归的角度解释。
以二维空间为例，找到一条直线，使所有的样本点到直线投影点的距离和最小。

在$R^n$高维空间中，要找到一个k维的超平面，使数据点到超平面的距离平方和最小。

• 设k维超平面的标准正交基 W = { w 1 , ⋯   , w k } W=\{ w_1,\cdots,w_k \} W={w1​,⋯,wk​}。
• 样本$x$在超平面上的投影向量为$\tilde{x}$；
• 投影向量可以表示为$\tilde{x}={\sum }_{i=0}^k(w_i^{T}x)w_i$
  其中$w_i^{T}x$是样本在$w_i$方向的投影长度。

要想使原样本点到投影点的距离之和最小
$$\begin{array}{rl}\arg & \underset{w_1,\cdots ,w_k}{\min }\sum ||x-\tilde{x}|{|}_2^2\\ s.t.& w_i^T{w}_j={\delta }_{ij}=\{\begin{array}{ll}1,& i=j\\ 0,& i̸=j\end{array}\end{array}$$
展开$||x-\tilde{x}|{|}_2^2$
$$\begin{array}{rl}||x-\tilde{x}|{|}_2^2& =x^{T}x+{\tilde{x}}^T\tilde{x}-2x^T\tilde{x}\\ x^T\tilde{x}& =x^T\sum _{i=0}^k(w_i^{T}x)w_i=\sum _{i=0}^k(w_i^{T}x)x^T{w}_i=\sum _{i=0}^k{w}_i^{T}x{x}^T{w}_i\\ {\tilde{x}}^T\tilde{x}& =\sum _{i=0}^k(w_i^{T}x)w_i^T\sum _{j=0}^k(w_j^{T}x)w_j=\sum _{i=0}^k\sum _{j=0}^k(w_i^{T}x)(w_j^{T}x)w_i^T{w}_j\\ & =\sum _{i=0}^k(w_i^{T}x)(w_i^{T}x)w_i^T{w}_i\\ & =\sum _{i=0}^k{w}_i^{T}x{x}^T{w}_i{w}_i^T{w}_i=\sum _{i=0}^k{w}_i^{T}x{x}^T{w}_i\\ ||x-\tilde{x}|{|}_2^2& =-\sum _{i=0}^k{w}_i^{T}x{x}^T{w}_i+constant\\ \sum ||x-\tilde{x}|{|}_2^2& =-\sum _{i=0}^k{w}_i^T\left(\sum _{m=1}{x}_m{x}_m^T\right)w_i=m\sum _{i=0}^k{w}_i^T\Sigma w_i\end{array}$$
目标函数转化为
$$\begin{array}{rl}\arg & \underset{w_1,w_2,\cdots ,w_k}{\max }\sum _{i=0}^k{w}_i^T\Sigma w_i\\ s.t.& w_i^T{w}_i=1,i=1,2,\cdots ,k\end{array}$$
拉格朗日函数
$$\begin{array}{rl}L& =\sum _{i=0}^k{w}_i^T\Sigma w_i+\sum _{i=1}^k{\lambda }_i(1-w_i^T{w}_i)\end{array}$$
此时对每个基向量求导与最大方差理论等价

1.3 总结

PCA是一种线性降维方法，虽然经典，但有一定局限性。可以通过核映射对PCA进行扩展，得到核主成分分析(KPCA)；或流行映射的降维方法，比如等距映射、局部线性嵌入、拉普拉斯特征映射等。对一些PCA效果不好的复杂数据集进行非线性降维操作。

2.SVD（奇异值分解）

SVD奇异值分解等价于PCA主成分分析。核心都是求解$X^{T}X$的特征值及对应的特征向量。

1. SVD原理。
   $X$是样本数据，将其分解为以下表达式
   $$X=U\Sigma V^T$$
   维度表示如下：
   

其中，

• U是$m\times m$维矩阵，且$U^{T}U=I,U^T=U^{-1}$。
• $\Sigma$是$m\times n$，除了主对角线上的元素以外全部为0
• V是$n\times n$维矩阵，且$V^{T}V=I,V^T=V^{-1}$。
• 最终X是$m\times n$维。
• 可以限制$\Sigma$的维度。

2. 求解
   $X=U\Sigma V^T$

• 求解$U$
  $$\begin{array}{rl}X{X}^T& =U\Sigma V^{T}V{\Sigma }^T{U}^T=U_{m\times m}{\Sigma }_{m\times n}{\Sigma }_{n\times m}^T{U}_{m\times m}^T\end{array}$$
  其中${\Sigma }_{m\times n}{\Sigma }_{n\times m}^T$是$m\times m$，只有左上角$n\times n$的对角线上有数据，其他元素都是0.
  相当于求解$X{X}^T$的特征值和特征向量。
• 求解$V$
  $$\begin{array}{rl}{X}^{T}X& =V{\Sigma }^T{U}^{T}U\Sigma V^T=V_{n\times n}{\Sigma }_{n\times m}^T{\Sigma }_{m\times n}{V}_{n\times n}^T\end{array}$$
  其中${\Sigma }_{n\times m}^T{\Sigma }_{m\times n}$是$n\times n$，只有对角线上有数据，其他元素都是0.
  相当于求解$X^{T}X$的特征值和特征向量。
• 求解$\Sigma$
  $$\begin{array}{rl}X& =U\Sigma V^T\\ X{V}_{n\times n}& =U\Sigma V^{T}V=U_{m\times m}{\Sigma }_{m\times n}\\ X_{m\times n}{v}_{i_{n\times 1}}& ={\sigma }_i{u}_{i_{m\times 1}}\\ {\sigma }_i& =X{v}_i/u_i\end{array}$$
  其实由求解$U,V$的过程可以得到，${\sigma }_i=\sqrt{{\lambda }_i}$

3. SVD性质

• 将奇异值矩阵$\Sigma$中按照${\sigma }_i$大小排列，奇异值减少特别的快。在很多情况下，前10% 甚至1%的奇异值就占了全部奇异值之和的99%以上。
• 可以利用最大k个奇异值和对应的左右奇异向量来描述矩阵。
  $A_{m\times n}=U_{m\times m}{\Sigma }_{m\times n}{V}_{n\times n}^T\approx U_{m\times k}{\Sigma }_{k\times k}{V}_{k\times n}^T$
  k比n小很多。
• SVD中压缩分为两部分
  • U代表对样本维数做压缩，这部分可以用于计算PCA（PCA 计算依赖于斜方差矩阵，很耗资源）
  • V代表对样本数目做压缩。$X_{d\times n}=U_{d\times m}^T{X}_{m\times n}$
• SVD的左奇异矩阵可以用来计算PCA。

3.LDA,线性判别分析

LDA（linear discriminant analysis），是一种有监督学习算法，常用来对数据进行降维。

• PCA中，算法不考虑数据的标签，把原始数据映射到一些所有数据间方差较大的方向
• LDA中，考虑到类别的不同，希望不同类别间所有区分，同类别尽量相同。即最大化类间距离，最小化类内距离。

例如下图，如果是PCA算法，应该将数据映射到y轴;但由于数据是有标签的，映射到x轴是较好的选择，不同类别间能够有所区分。

3.1 二分类情况

数据集D， y i ∈ { 0 , 1 } y_i \in \{0,1\} yi​∈{0,1}，两个类别的样本子集为$C_0,C_1$。令$X_i,{\mu }_i,{\Sigma }_i$分别表示第 i ∈ { 0 , 1 } i \in \{0,1\} i∈{0,1}类的集合，均值向量，协方差矩阵。

如果将两个类别数据投影到$w$方向上：

1. 我们希望最大化类间距离。
   类间距离定义为，两个类别投影后均值的距离
   $$Dist=||{\tilde{\mu }}_0-{\tilde{\mu }}_1|{|}_2^2$$
   其中${\tilde{\mu }}_1=w^T{\mu }_1,{\mu }_1=\frac{1}{N_1}{\sum }_{x\in C_1}x$。优化目标为
   $$\begin{array}{rl}\underset{w}{\max }& ||w^T({\mu }_0-{\mu }_1)|{|}_2^2\\ s.t.& w^{T}w=1\end{array}$$
2. 最小化类内距离。
   类内距离即每个类别的方差。最小化两个类别的方差之和。
   $$D_0+D_1$$
   其中
   $$\begin{array}{rl}{D}_1& =\frac{1}{N_1-1}\sum _{x\in C_1}(x^{\prime }-{\mu }_1^{\prime }{)}^2\\ & =\frac{1}{N_1-1}\sum (w^{T}x-w^T{\mu }_1{)}^2\\ & =w^T(\frac{1}{N_1-1}\sum (x-{\mu }_1)(x^T-{\mu }_1^T))w\\ & =w^T{\Sigma }_{1}w\end{array}$$
   优化目标
   $$\min w^T({\Sigma }_0+{\Sigma }_1)w$$
3. 最大化类间距离，最大化类内距离，得到
   $$\begin{array}{rl}\max J& =\frac{||w^T({\mu }_0-{\mu }_1)|{|}^2}{w^T({\Sigma }_0+{\Sigma }_1)w}\\ & =\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\Sigma }_0+{\Sigma }_1)w}\end{array}$$
   定义
   $$\begin{array}{rl}{S}_b& =({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T\\ S_w& ={\Sigma }_0+{\Sigma }_1\\ & =\sum _{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T\end{array}$$
   其中$S_w$为类内散度，$S_b$为类间散度。 变换目标函数：
   $$J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
4. 求解
   其中如果$w$是一个解，那么$\alpha w$也是解。令$w^T{S}_{w}w=1$.上式等价于
   $$\begin{array}{rl}\underset{w}{\min }& -w^T{S}_{b}w\\ s.t.& w^T{S}_{w}w=1\end{array}$$
   令
   $$\begin{array}{rl}L& =-w^T{S}_{b}w-\lambda (1-w^T{S}_{w}w)\\ \frac{\partial L}{\partial w}& =-(S_{b}w+S_b^{T}w)+\lambda (S_{w}w+S_w^{T}w)\\ & =-2(S_{b}w-\lambda S_{w}w)=0\end{array}$$
   得到
   $$S_{b}w=\lambda S_{w}w$$
   由于
   $$S_{b}w=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}_{1\times n}^T{w}_{n\times 1}=({\mu }_0-{\mu }_1)\cdot \text{某实数}$$
   因此代入$S_{b}w=\lambda S_{w}w$,得到
   $$\begin{array}{rl}({\mu }_0-{\mu }_1)& =S_{w}w\\ w& =S_w^{-1}({\mu }_0-{\mu }_1)\end{array}$$

在实践中，对$S_w$奇异值分解，得到$S_w=U\Sigma V^T$，然后$S_w^{-1}=V{\Sigma }^{-1}{U}^T$。

3.2 多分类问题

假设存在N分类，第i类样本数目为$m_i$。 最终将特征降至d维。需要找到一个d维的超平面 W = { w 1 , w 2 , ⋯   , w d } W=\{w_1,w_2,\cdots,w_d\} W={w1​,w2​,⋯,wd​}

• 类内散度矩阵
  $$\begin{array}{rl}{S}_w& =\sum _{i=1}^N{S}_{wi}\\ S_{wi}& =\sum _{x\in C_i}(x-{\mu }_i)(x-{\mu }_i{)}^T\end{array}$$
• 定义全局散度矩阵
  $$\begin{array}{rl}{S}_t& =S_b+S_w\\ & =\sum _{j=1}^m(x_j-\mu )(x_j-\mu {)}^T\end{array}$$
  其中$\mu$是所有样本的均值向量
• 得到$S_b$
  $$\begin{array}{rl}{S}_b& =S_t-S_w\\ & =\sum _{j=1}^m(x_j-\mu )(x_j-\mu {)}^T-\sum _{i=1}^N\sum _{x\in X_i}(x-{\mu }_i)(x-{\mu }_i{)}^T\\ & =\sum _{i=1}^N\sum _{x_j\in X_i}[(x_j-\mu )(x_j-\mu {)}^T-(x-{\mu }_i)(x-{\mu }_i{)}^T]\\ & =\sum _{i=1}^N\sum _{x_j\in X_i}[x_j{x}_j^T-x_j{\mu }^T-\mu x_j^T+\mu {\mu }^T-(x_j{x}_j^T-x_j{\mu }_i^T-{\mu }_i{x}_j^T+{\mu }_i{\mu }_i^T)]\\ & =\sum _{i=1}^N{m}_i\frac{1}{m_i}\sum _{x_j\in X_i}[-x_j{\mu }^T-\mu x_j^T+\mu {\mu }^T+x_j{\mu }_i^T+{\mu }_i{x}_j^T-{\mu }_i{\mu }_i^T)]\\ & =\sum _{i=1}^N{m}_i[-{\mu }_i{\mu }^T-\mu {\mu }_i^T+\mu {\mu }^T+{\mu }_i{\mu }_i^T]\\ & =\sum _{i=1}^N{m}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T\end{array}1$$
  此时优化目标
  $$\begin{array}{rl}\underset{w}{\max }& \frac{tr(W^T{S}_{b}W)}{tr(W^T{S}_{w}W)}\\ s.t.& W^{T}W=I\end{array}$$
  最终
  $$S_{b}w=\lambda S_{w}w$$
  即求解$S_w^{-1}{S}_b$矩阵特征值的前d大对应的特征向量组成的矩阵。

3.3 总结

• 计算数据集每个类别样本的均值向量${\mu }_j$，及总体的均值$\mu$
• 计算类内散度矩阵$S_w$，全局散度矩阵$S_t$，得到类间散度矩阵$S_b=S_t-S_w$
• 对矩阵$S_w{S}_b$进行特征值分解，将特征值从大到小排列
• 取特征值前d大的对应特征向量$w_1,w_2,\cdots ,w_d$,通过以下映射将n维样本映射到d维$$x^{\prime }=\left[\begin{array}{c}{w}_1^{T}x\\ w_2^{T}x\\ ⋮\\ w_d^{T}x\end{array}\right]$$

4.PCA和LDA区别

• PCA选择投影后方差最大的方向。由于是无监督，假设方差越大，信息量越多，用主成分表示原始数据可以去除冗余的维度，达到降维。
• LDA选择投影后类内方差小，类间方差大的方向。考虑到了类别标签信息。