主成分分析（Principal Component Analysis,PCA）

Principal Component Analysis（PCA）

主成分分析(Principle Component Analysis)的本质是对原始特征空间的重构，具体动机是针对原始特征空间中可能存在线性相关的特征，使用一系列正交变换将其转化为一组两两相互正交的正交基。

输入： 原始数据$X\in R^{d\times n}$ 、降维后的维数k

输出： Y=PX，即降维后的数据。

算法步骤：

• 1.将X的每一行进行中心化，即减去这一行的均值（目的是将所有样本平移至样本空间的中心位置，而演样本之间的相对位置不发生变化）：$$x_{centered}=x-\mu$$
• 2.求出协方差矩阵$C=\frac{1}{n}X{X}^T$
• 3.求出协方差矩阵的特征值和特征向量
• 4.将特征向量按对应的特征值的大小从上到下按行排列成矩阵，取前k行组成矩阵P
• 5.$Y=PX$即为降维后的数据

最优化方法的推导证明：

（一）基于最大投影方差

最大投影方差的思想是：以原始样本点到某一特征方向的投影结果方差达到最大的特征方向作为第一个主成分，从而找到一组相互正交的正交基。

我们希望变化后的数据，协方差为0且数据内方差尽可能大

当样本进行了中心化之后==投影的均值为零==，证明如下：
$$\begin{gathered} \mu =\frac{1}{n}\sum _{i=1}^n[w^{\top }(x_i-\bar{x})] \\ =w^{\top }[\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x})] \\ =w^{\top }(\frac{1}{n}\sum _{i=1}^n{x}_i-\frac{1}{n}\cdot n\cdot \bar{x}) \\ =w^{\top }(\bar{x}-\bar{x})=0 \end{gathered}$$

本点 $x_i$在基 $w$ 下的投影结果为： $(x_i,w)=w^{\top }{x}_i$ ，于是我们有方差：

$$\begin{gathered} 样本方差计算公式: \\ {S}^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2 \end{gathered}$$

投影方差为：
$$\begin{gathered} (投影后投影均值为0) \\ D(x)=\frac{1}{n}\sum _{i=1}^n(w^{\top }(x_i-\bar{x})-0{)}^2 \\ =\frac{1}{n}\sum _{i=1}^n[(w^{\top }(x_i-\bar{x}))(w^{\top }(x_i-\bar{x}){)}^{\top }] \\ =\frac{1}{n}{\Sigma }_{i=1}^n{w}^{\top }(x_i-\bar{x})(x_i-\bar{x}{)}^{\top }w \\ =w^{\top }(\frac{1}{n}{\Sigma }_{i=1}^n(x_i-\bar{x})(x_i-\bar{x}{)}^{\top })w \end{gathered}$$

直接用中心化之后的样本计算：
$$\begin{gathered} D(x)=\frac{1}{n}\sum _{i=1}^n(w^{\top }{x}_i{)}^2 \\ =\frac{1}{n}\sum _{i=1}^n[(w^{\top }{x}_i)(w^{\top }{x}_i{)}^{\top }] \\ =\frac{1}{n}{\Sigma }_{i=1}^n{w}^{\top }{x}_i{x}_i^{\top }w \\ =w^{\top }(\frac{1}{n}{\Sigma }_{i=1}^n{x}_i{x}_i^{\top })w \end{gathered}$$
${\Sigma }_{i=1}^n(x_i-\bar{x})(x_i-\bar{x}{)}^{\top })$ （中心化之后是$\frac{1}{n}{\Sigma }_{i=1}^n{x}_i{x}_i^{\top }$）就是协方差矩阵（或者叫做散度矩阵），我们另这个矩阵为 $\Lambda$ ，于是我们有：
$$\{\begin{array}{l}w=argmax{w}^{\top }\Lambda w\\ s.t.w^{T}w=1\end{array}$$
然后构造拉格朗日函数：
$$L(w)=w^t\Lambda w+\lambda (1-w^{T}w)$$
对 w 求导：

$$\Lambda w=\lambda w$$
此时我们的方差为：

$$D(x)=w^T\Lambda w=\lambda w^{T}w=\lambda$$
于是我们发现，x 投影后的方差就是协方差矩阵的特征值。我们要找到最大方差也就是协方差矩阵最大的特征值，最佳投影方向就是最大特征值所对应的特征向量，次佳就是第二大特征值对应的特征向量，以此类推。

（二）基于最小重构误差

特征空间重构是基于样本内部维度特征之间可能存在线性相关的情况，从而通过正交变换，使可能存在线性相关的一组特征转换成相互正交的(必然也是线性无关的) 的一组新特征。

以二维举例：

样本点$x_i=\left[\begin{array}{c}{x}_{i_1}\\ x_{i_2}\end{array}\right]$在特征空间重构之后得到新的向量结果$x_i^{\prime }=\left[\begin{array}{c}{w}_{i_1}\\ w_{i_2}\end{array}\right]$，图像如下：

能够得到：
$$\begin{gathered} w_{i_1}=w_1^{\top }{x}_i \\ {w}_{i_2}=w_2^{\top }{x}_i \\ {x}_i^{\prime }=(w_1^{\top }{x}_i,w_2^{\top }{x}_i{)}^{\top } \\ =[w_1^{\top }{x}_i]w_1+[w_2^{\top }{x}_i]w_2 \end{gathered}$$
$x_i^{\prime }$写成这样的原因：

$[w_1^{\top }{x}_i]$是一个标量或者是一个系数，对应的$[w_1^{\top }{x}_i]w_1$可以表示为如下的形式：
$$[w_1^{\top }{x}_i]w_1=\left[\begin{array}{c}{w}_1^{\top }{x}_i\\ 0\end{array}\right]$$
同理$[w_2^{\top }{x}_i]w_2$可以表示为如下：
$$[w_2^{\top }{x}_i]w_2=\left[\begin{array}{c}0\\ w_2^{\top }{x}_i\end{array}\right]$$
因而：
$$x_i^{\prime }=\left[\begin{array}{c}{w}_1^{\top }{x}_i\\ 0\end{array}\right]+\left[\begin{array}{c}0\\ w_2^{\top }{x}_i\end{array}\right]=\left[\begin{array}{c}{w}_1^{\top }{x}_i\\ w_2^{\top }{x}_i\end{array}\right]$$
将二维延伸到高维特征空间中，假设$x_i$∈$X$的d维特征表示如下：
$$x_i=\left[\begin{array}{c}{x}_{i_1}\\ x_{i_2}\\ ...\\ x_{i_d}\end{array}\right]$$
通过特征空间重构的方式得到一组正交基，正交基的特征向量和对应特征值为：

特征值	${\lambda }_1$	${\lambda }_2$	…	${\lambda }_d$
特征向量	$w_1$	$w_2$	…	$w_d$

如果重构过程中没有丢失信息，那么特征空间重构条件下的$x_i^{\prime }$表示如下：
$$x_i^{\prime }=\left[\begin{array}{c}{w}_1^{\top }{x}_i\\ 0\\ 0\\ ...\\ 0\end{array}\right]+\left[\begin{array}{c}0\\ w_2^{\top }{x}_i\\ 0\\ ...\\ 0\end{array}\right]+...+\left[\begin{array}{c}0\\ 0\\ 0\\ ...\\ w_d^{\top }{x}_i\end{array}\right]=\left[\begin{array}{c}{w}_1^{\top }{x}_i\\ w_2^{\top }{x}_i\\ w_3^{\top }{x}_i\\ ...\\ w_d^{\top }{x}_i\end{array}\right]$$
重构的核心出发点是降维

基于上述特征重构结果，选择 最大的q 个特征值对应的特征向量，其余特征值结果忽略不计。

这种操作极大概率导致样本点的特征信息造成损失。

执行降维之后的重构样本点表示为：
$$x_i^{\prime \prime }=\sum _{k=1}^q[w_k^{\top }{x}_i]w_k$$
重构代价

重构代价表示样本点重构前与重构后之间差值的模：
$$|x_i^{\prime }-x_i^{\prime \prime }|=\sqrt{||x_i^{\prime }-x_i^{\prime \prime }|{|}^2}$$
为了方便运算，去掉根号后的重构代价为：
$$||x_i^{\prime }-x_i^{\prime \prime }|{|}^2$$
N个样本点的重构总代价为：
$$\sum _{i=1}^n||x_i^{\prime }-x_i^{\prime \prime }|{|}^2$$
为了方便运算添加一个系数$\frac{1}{n}$：
$$J=\frac{1}{n}\sum _{i=1}^n||x_i^{\prime }-x_i^{\prime \prime }|{|}^2$$
将$x_i^{\prime }和x_i^{\prime \prime }$带入得到：
$$J=\frac{1}{n}\sum _{i=1}^n||\sum _{k=q+1}^d[w_k^{\top }{x}_i]w_k|{|}^2$$
$[w_k^{\top }{x}_i]w_k$该向量具体结果表示如下：
$$[w_k^{\top }{x}_i]w_k=\left[\begin{array}{c}0\\ 0\\ ...\\ w_k^{\top }{x}_i\\ 0\\ ...\\ 0\end{array}\right]$$
则该向量模的平方为：
$$||[w_k^{\top }{x}_i]w_k|{|}^2=0^2+...+[w_k^{\top }{x}_i{]}^2+...+0^2=[w_k^{\top }{x}_i{]}^2$$
则：
$$J=\frac{1}{n}\sum _{i=1}^n\sum _{k=q+1}^d[w_k^{\top }{x}_i{]}^2$$
将样本点中心化加入到公式：
$$\begin{gathered} J=\frac{1}{n}\sum _{i=1}^n\sum _{k=q+1}^d[w_k^{\top }(x_i-\bar{x}){]}^2 \\ =\frac{1}{n}\sum _{i=1}^n\sum _{k=q+1}^d[w_k^{\top }(x_i-\bar{x})][w_k^{\top }(x_i-\bar{x}){]}^{\top } \\ =\frac{1}{n}\sum _{i=1}^n\sum _{k=q+1}^d{w}_k^{\top }(x_i-\bar{x})(x_i-\bar{x}{)}^{\top }{w}_k \\ =\sum _{k=q+1}^d{w}_k^{\top }[\frac{1}{n}\sum _{i=1}^n(x_i-\bar{x})(x_i-\bar{x}{)}^{\top }]w_k \\ =\sum _{k=q+1}^d{w}_k^{\top }\Lambda w_k \end{gathered}$$
基于最小重构代价转化为优化问题：
$$\{\begin{array}{l}\underset{w_k}{argminJ}\\ s.t.w_k^{\top }{w}_k=1\end{array}$$
构造拉格朗日函数：
$$L(w)=\sum _{k=q+1}^d{w}_k^{\top }\Lambda w_k+\lambda (1-w_k^{\top }{w}_k)$$
对$w_k$求偏导数零其等于零：
$$\frac{\partial L(w)}{\partial w}=0\to \Lambda w=\lambda w$$
虽然最终结果和最大投影方差的表示结果相同，但由于求解的是重构代价的最小值。因此，在选择特征向量过程中，从 最小特征值对应的特征向量开始选取。而最大投影方差从最大特征值对应得特征向量开始选取。