机器学习面试必知：最大方差理论和最小平方误差理论下的PCA(主成分分析)的公式推导

最大方差理论

PCA（主成分分析），旨在找到数据中的主成分，并利用这些主成分表征原始数据从而达到降维的目的。在信号处理领域，我们认为信号具有较大方差，而噪声具有较小方差。因此我们不难引出PCA的目标即最大化投影方差，也就是让数据在主轴上投影的方差最大（在我们假设中方差最大的有用信号最大化减少了噪声的影响）。

对于给定的一组数据点 { v 1 , . . . , v n } \left\{v_{1},...,v_{n} \right\} {v1​,...,vn​},均为列向量。中心化后可以这样表示 { x 1 , . . . , x n } = { v 1 − μ , . . . , v n − μ } \left\{x_{1},...,x_{n} \right\}=\left\{v_{1}-\mu,...,v_{n}-\mu \right\} {x1​,...,xn​}={v1​−μ,...,vn​−μ}，其中$\mu =\frac{1}{n}{\sum }_{i=1}^n{v}_i$接下来我要找个一个投影的方向$\omega$使得 { x 1 , . . . , x n } \left\{x_{1},...,x_{n} \right\} {x1​,...,xn​}在$\omega$(单位方向向量)上的投影方差最大。向量$x_i$在$\omega$上的投影坐标可以表示为$(x_i,\omega )=x_i^T\omega$，所以投影之后的方差可以表示为$$D(x)=\frac{1}{n}\sum _{i=1}^n(x_i^T\omega {)}^2=\frac{1}{n}\sum _{i=1}^n(x_i^T\omega {)}^T(x_i^T\omega )=\frac{1}{n}\sum _{i=1}^n{\omega }^T{x}_i{x}_i^T\omega ={\omega }^T(\frac{1}{n}\sum _{i=1}^n{x}_i{x}_i^T)\omega$$
$\frac{1}{n}{\sum }_{i=1}^n{x}_i{x}_i^T$是样本的协方差矩阵，记做$\Sigma$，由于$\omega$是单位方向向量，所以${\omega }^T\omega =1$,因此我们可以表示成一个最大化问题$$max\left\{{\omega }^T\Sigma \omega \right\}$$$$s.t.{\omega }^T\omega =1$$用拉格朗日乘式可以得到$\Sigma \omega =\lambda \omega$，代入$D(x)$得到$D(x)={\omega }^T\Sigma \omega =\lambda {\omega }^T\omega =\lambda$，所以投影后的方差就是协方差矩阵的特征值。最大方差即为协方差矩阵最大的特征值，最佳投影方向就是最大特征值所对应的特征向量。我们将特征值从大到小排列，取特征值前$d$大对应的特征向量${\omega }_1,...,{\omega }_d$，通过以下映射的方式将n维样本映射到d维$${x_i}^{\prime }=\left[\begin{array}{c}{\omega }_1^T{x}_i\\ .\\ .\\ .\\ {\omega }_d^T{x}_i\end{array}\right]$$

最小平方误差理论

如果是二维空间中的样本点，那么我们就是求解出一条直线使得样本投影到该直线上的方差最大。从回归的角度来看其实就是求解出一个线性函数来拟合样本点集合。在高维空间中，我们需要找到一个d维超平面，使得数据点到这个超平面的距离平方和最小。我们假设该超平面由d个标准正交基 W = { w 1 , . . . , w d } W=\left\{ w_{1},...,w_{d}\right\} W={w1​,...,wd​}，那么数据点$x_k$投影到该超平面可以表示成$\widetilde{x_k}={\sum }_{i=1}^d(w_i^T{x}_k)w_i$。所以我们可以写出PCA优化的目标$$\underset{w_1,...,w_d}{argmin}\sum _{k=1}^n||x_k-\widetilde{x_k}|{|}_2^2$$$$s.t.w_i^T{w}_j={\delta }_{ij}$$
我们将平方项展开$$||x_k-\widetilde{x_k}|{|}_2^2=(x_k-\widetilde{x_k}{)}^T(x_k-\widetilde{x_k})=x_k^T{x}_k-2x_k^T\widetilde{x_k}+{\widetilde{x_k}}^T\widetilde{x_k}$$$$x_k^T\widetilde{x_k}=x_k^T\sum _{i=1}^d(w_i^T{x}_k)w_i=\sum _{i=1}^d{w}_i^T{x}_k{x}_k^T{w}_i$$$${\widetilde{x_k}}^T\widetilde{x_k}=\sum _{i=1}^d\sum _{j=1}^d((w_i^T{x}_k)w_i{)}^T(w_j^T{x}_k)w_j=\sum _{i=1}^d{w}_i^T{x}_k{x}_k^T{w}_i$$所以$$||x_k-\widetilde{x_k}|{|}_2^2=-\sum _{i=1}^d{w}_i^T{x}_k{x}_k^T{w}_i+x_k^T{x}_k=-tr(W^T{x}_k{x}_k^{T}W)+x_k^T{x}_k$$带入到优化目标中$$arg\underset{W}{\max }\sum _{k=1}^{n}tr(W^T{x}_k{x}_k^{T}W)=arg\underset{W}{\max }tr(W^{T}X{X}^{T}W)$$$$s.t.W^{T}W=I$$当d=1时，$$arg\underset{w}{\max }{w}^{T}X{X}^{T}w$$$$s.t.w^{T}w=1$$