PCA均方误差(MSE)最小化和方差最大化的推导

部分参考[https://zhuanlan.zhihu.com/p/77151308]，结合自己的一些理解和统计学习方法，补充了一些推导过程)

一、方差的定义

​
​
$$\begin{array}{r}Var(x)=\frac{1}{m}\sum _{i=1}^m(x_i-\mu {)}^2\end{array}$$
去除均值，方便计算

$x\leftarrow x-E[x]$

为了方便处理，我们将每个变量的均值都化为 0 ，因此方差可以直接用每个元素的平方和除以元素个数表示
$$\begin{array}{r}Var(x)=\frac{1}{m}\sum _{i=1}^m(x_i{)}^2\end{array}$$

二、协方差的定义

$$\begin{array}{r}Cov(x,y)=\frac{1}{m}\sum _{i=1}^m(x_i-{\mu }_x)(y_i-{\mu }_y)\end{array}$$

由于均值为 0，所以我们的协方差公式可以表示为：
$$Cov(x,y)=\frac{1}{m}\sum _{i=1}^m{x}_i{y}_i$$

三、协方差矩阵

将$x$和$y$变量拼成一个矩阵$X$
$$X=\left(\begin{array}{cccc}{x}_1& x_2& \cdots & x_m\\ y_1& y_2& \cdots & y_m\end{array}\right)$$
那么计算协方差矩阵
$$\Sigma =\frac{1}{m}X{X}^{\mathsf{T}}=\left(\begin{array}{cc}\frac{1}{m}{\sum }_{i=1}^m{x}_i^2& \frac{1}{m}{\sum }_{i=1}^m{x}_i{y}_i\\ \frac{1}{m}{\sum }_{i=1}^m{x}_i{y}_i& \frac{1}{m}{\sum }_{i=1}^m{y}_i^2\end{array}\right)=\left(\begin{array}{cc}Cov(x,x)& Cov(x,y)\\ Cov(y,x)& Cov(y,y)\end{array}\right)$$
顺便说一下,$x^2$的期望也就是它与它自身的协方差，记为$C^x$
$$E(x^2)=\frac{1}{m}\sum _{i=1}^m{x}_i^2=C_x$$

四、方差最大化

• 假设原来有两个变量$x_1,x_2$,三个样本点分别为$A,B,C$，样本分布在由$x_1,x_2$轴组成的坐标系中。

• 对坐标系进行旋转变换，得到新的坐标轴$y_1$，表示新的变量$y_1$

• 样本点$A,B,C$在$y_1$轴上投影，得到$y_1$轴的坐标值为$A^{’},B^{’},C^{’}$

• 坐标轴的平方和为$O{A}^{’2}+O{B}^{’2}+O{C}^{’2}$表示样本在变量$y_1$上的方差和

• 主成分分析旨在选取正交变换中方差最大的变量，作为第一主成分，也就是旋转变换中坐标值平方和最大的轴

• 而我们知道，对于样本而言，本身的$O{A}^2+O{B}^2+O{C}^2$为固有值，不变

• 因此可以通过勾股定理知道，方差最大$O{A}^{’2}+O{B}^{’2}+O{C}^{’2}$最大等价于样本点到$y_1$轴的距离$A{A}^{’2}+B{B}^{’2}+C{C}^{’2}$最小

基于PCA的线性结合的第一个主成分为
$$\begin{array}{r}{y}_1=\sum _{k=1}^n{\omega }_{k1}{x}_k={\omega }_1^{T}x\end{array}$$
那么最大化方差为
$$D(y_1)=E(y_1^2)-E(y_1{)}^2$$
而经过了去掉均值化后，期望为0
$$E(y_1)=E(\sum _{k=1}^n{\omega }_{k1}{x}_k)=E({\omega }_1^{T}x)=0$$
去均值化期望为0的具体步骤如下，假设$x_k$为未去除均值的情况，均值为$\mu$
$$\begin{gathered} E(\sum _{k=1}^n{\omega }_{k1}{x}_k)={\omega }_{k1}^{T}E(\sum _{k=1}^n{x}_k) \\ \to {\omega }_{k1}^{T}E(\sum _{k=1}^n(x_k-\mu ))={\omega }_{k1}^T(E(\sum _{k=1}^n{x}_k)-n\mu )=0 \end{gathered}$$
**例子：**再进一步理解一下期望的推导过程，看一下去均均值化的过程。纵轴为$x_2$，横轴为$x_1$

• 比如对于几个个样本点$(1,0),(2,1),(3,2)$构成的直线来说，组成的直线方程为$x_1-x_2-1=0$,那么可以写成
  $$x_1-x_2-1=(-1,1,-1)(1,x_1,x_2{)}^T$$
  那么根据这几个样本点，计算他们的期望如下
  $$\begin{array}{rl}E(\sum _{k=1}^n{\omega }_{k1}{x}_k)& ={\omega }_{k1}^{T}E(\sum _{k=1}^n{x}_k)\\ & =(-1,1,-1)E[\sum _{k=1}^{1}1,x_1,x_2{]}^T\\ & =(-1,1,-1)E[(1,1,0{)}^T+(1,2,1{)}^T+(1,3,2{)}^T]\\ & =(-1,1,-1)E[(3,6,3{)}^T]\\ & =0\end{array}$$
  因为这些样本点在直线上，期望肯定是0，这里看的是右面的部分，变量的期望，去均值化的时候目的是让$E$中去均值后的$x$为$0$

  • 那么对于$x_1$和$x_2$，去掉他们的均值$2$和$1$后计算：

  $$\begin{array}{rl}E(\sum _{k=1}^n{\omega }_{k1}{x}_k)& \to {\omega }_{k1}^{T}E(\sum _{k=1}^n(x_k-\mu ))\\ & =(-1,1,-1)E[\sum _{k=1}^{1}1-1,x_1-2,x_2-1{]}^T\\ & =(-1,1,-1)E[(0,-1,-1{)}^T+(0,0,0{)}^T+(0,1,1{)}^T]\\ & =(-1,1,-1)E[(0,0,0{)}^T]\\ & =0\end{array}$$

  新的方程为$(1)\ast (x_1-2)+(-1)\ast (x_2-1)=0$,如果令$x_3=x_1-2，x_4=x_2-1$，通过去均值那么就得到了让直线经过了原点，去除了截距项,即$x_3-x_4=0$

那么回到(9)式，继续计算这个方差，有两种理解办法，过程是一样的

• 第一种根据方差与期望的关系，通过(10)(11)算式推得到$E(y_1)=0$从而最大化方差$D(y_1)$等价于最大化$E(y_1^2)$
• 第二种根据(2)的算式，期望为0，得到以下形式，结果是相同的

$$\begin{array}{rl}{J}_1^{PAC}(w_1)=D(y_1)& =\frac{1}{m}\sum _{i=1}^m(x_1^{T}w{)}^2\\ & =\frac{1}{m}\sum _{i=1}^m(x_1^{T}w{)}^T(x_1^{T}w)\\ & =\frac{1}{m}\sum _{i=1}^m{w}^T{x}_1{x}_1^{T}w\\ & =w^T(\frac{1}{m}\sum _{i=1}^m{x}_1{x}_1^T)w\\ & =w^{T}E(x^2)w\\ & =w^T\Sigma w\\ & =w^T{C}_{x}w\end{array}$$
最后得到的最优化问题是
$$\begin{gathered} max:w^T{C}_{x}w \\ s.t:w^{T}w=1 \end{gathered}$$

五、均方误差最小化(MSE)

在方差最大化的图中，可以知道Variance+MSE=定值，因此二者是等价的，换一种思路通过均方误差最小化进行推导。

向量的投影

以该图的B点为例，设B点的坐标为$(x_1,x_2)$,其所代表的向量为$\overrightarrow{OB}=\overrightarrow{x}=(x_1,x_2)$,由于$y_1={\sum }_{k=1}^n{\omega }_{k1}{x}_k={\omega }_1^{T}x$,那么可以同样表示出直线的单位方向向量为$\overrightarrow{w}=(w_1,w_2)$,（注：由于该直线过原点就没有写截距项1）那么先算$\overrightarrow{x}$向量和$\overrightarrow{w}$向量的夹角$\theta$.

由于$w^{T}w=1$,即$|\overrightarrow{w}|=1$,可以继续化简为：
$$\begin{array}{rl}cos\theta & =\frac{\overrightarrow{x}\overrightarrow{w}}{|\overrightarrow{x}||\overrightarrow{w}|}\\ & =\frac{\overrightarrow{x}\overrightarrow{w}}{|\overrightarrow{x}|}\end{array}$$

那么$O{B}^{\prime }$的长度为
$$O{B}^{’}=OB\ast cos\theta =|\overrightarrow{x}|\ast \frac{\overrightarrow{x}\overrightarrow{w}}{|\overrightarrow{x}|}=\overrightarrow{x}\overrightarrow{w}$$
那么$O{B}^{\prime }$的方向为
$$\frac{\overrightarrow{w}}{|\overrightarrow{w}|}=\overrightarrow{w}$$
因此$O{B}^{\prime }$的向量为
$$\overrightarrow{O{B}^{’}}=\overrightarrow{x}\overrightarrow{w}\ast \overrightarrow{w}$$
在这个部分，我们的目标是最小化均方误差，也就是$min(A{A}^{’2}+B{B}^{’2}+C{C}^{’2})$

下一步就是表示出$\overrightarrow{B^{’}B}$,由向量的知识，（方向换一下没事，因为还要平方）可以得到
$$\begin{array}{rl}\overrightarrow{B^{’}B}& =\overrightarrow{OB}-\overrightarrow{O{B}^{\prime }}\\ & =\overrightarrow{x}-\overrightarrow{x}\overrightarrow{w}\ast \overrightarrow{w}\\ & =x-(w^{T}x)w\end{array}$$
因此目标为
$$\begin{array}{rl}{J}_{MSE}^{PCA}& =E(||x-\sum _{i=1}^m(w_i^{T}x)w_i|{|}^2)\\ & =E(||x|{|}^2)-2E(x^T\sum _{i=1}^m(w_i^{T}x)w_i)+E(\sum _{i=1}^m((w_i^{T}x)w_i{)}^2)\\ & =E(||x|{|}^2)-2w^{T}E(\sum _{i=1}^m(x^{T}x{)}^2)w+E((\sum _{i=1}^m((w_i^{T}x)w_i{)}^T\ast (w_i^{T}x)w_i)\\ & =E(||x|{|}^2)-2w^{T}E(\sum _{i=1}^m(x^{T}x{)}^2)w+w^{T}E(\sum _{i=1}^m(x^{T}x{)}^2)w\\ & =E(||x|{|}^2)-w^{T}E(\sum _{i=1}^m(x^{T}x{)}^2)w\\ & =trace(C_x)-w^T{C}_{x}w\end{array}$$
由于协方差$C_x$是定值，因此$w^T{C}_{x}w$越大，均方误差越小。

即得到的最优化问题为：
$$\begin{gathered} max:w^T{C}_{x}w \\ s.t:w^{T}w=1 \end{gathered}$$

六、求解最优化问题

根据拉格朗日方程：
$$L(w,\lambda )=w^T{C}_{x}w-\lambda (w^{T}w-1)$$

那么对w求导可以得到
$$2C_{x}w-2\lambda w=0$$
这意味着协方差的特征值是$\lambda$
因此$C_{x}w=\lambda w$代入后有
$$w^T{C}_{x}w=w^T(C_{x}w)=w^T\lambda w=\lambda w^{T}w=\lambda$$
即寻找最大的特征值$\lambda$即为所求。

那么从大到小排列，便得到了各个主成分。

高维小样本数据集的PCA方法预降维度方法及相关公式

• 例如: $x_i\in R^n,i=1,2,\dots ,k.$

• 这意味着在n很大的情况下，$C_x\in R^{(n\times n)}$ ，协方差矩阵太大并且不可逆很难分解

• 因此要采用预处理降维度的办法

$$\begin{array}{r}{w}_1=x_1{w}_1=w_1/\Vert w_1\Vert \\ w_2=x_2-(w_1^T{x}_2)w_1,w_2=w_2/\Vert w_2\Vert \\ \dots \dots \\ w_k=x_k-\sum _{(j=1)}^{(k-1)}(w_j^T{x}_k)w_j,w_k=w_k/\Vert w_k\Vert \end{array}$$