机器学习-白板推导 P5_3 (PCA最大投影方差)

PCA 最大投影方差

$$X={\left[\begin{array}{cccc}{x}_1& x_2& ...& x_N\end{array}\right]}^T=\left[\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right]={\left[\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1p}\\ x_{21}& x_{22}& ...& x_{2p}\\ ⋮& ⋮& \ddots & ⋮\\ x_{N1}& x_{N2}& ...& x_{Np}\end{array}\right]}_{N\ast p}$$
$$1_N=\left[\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right]$$
$Mean:\overline{X}=\frac{1}{N}{\sum }_{i=1}^N{x}_i=\frac{1}{N}{X}^T{1}_N$

$Covariance:S=\frac{1}{N}{\sum }_{i=1}^N(x_i-\overline{X})(x_i-\overline{X}{)}^T=\frac{1}{N}{X}^{T}HX$

一个中心：
将一组可能线性相关的变量，通过正交变换变换成一组线性无关的变量（主成分）
原始特征空间的重构 \quad 相关$\to$无关
两个基本点：
最大投影方差
最小重构距离 \quad 从投影返回到原始数据的代价

方法

1.中心化，每个样本点减去均值$x_i-\overline{X}$
2.投影,求最大方差
假设投影到${\mu }_1$上，投影过程为$(x_i-\overline{X}{)}^T{\mu }_{1}s.t.{\mu }_1^T{\mu }_1=1$
投影后方差为：(因为投影前已经减去了均值，所以这里可以直接平方)
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N{\left((x_i-\overline{X}{)}^T{\mu }_1\right)}^2\\ & =\frac{1}{N}\sum _{i=1}^N{\mu }_1^T(x_i-\overline{X})(x_i-\overline{X}{)}^T{\mu }_1\\ & ={\mu }_1^T\left(\sum _{i=1}^N\frac{1}{N}(x_i-\overline{X})(x_i-\overline{X}{)}^T\right){\mu }_1\\ & ={\mu }_1^{T}S{\mu }_1\end{array}$$

优化问题
$\hat{\mu }=arg\max {\mu }_1^{T}S{\mu }_{1}s.t.{\mu }_1^T{\mu }_1=1$

拉格朗日乘值法：
$L({\mu }_1,\lambda )={\mu }_1^{T}S{\mu }_1+\lambda (1-{\mu }_1^T{\mu }_1)$

$\frac{\partial L}{\partial {\mu }_1}=2S{\mu }_1-2\lambda {\mu }_1=0$

$S{\mu }_1=\lambda {\mu }_1$