PCA推导

个人笔记，非教程

$$Z:d\times n$$
$$W:D\times d$$
$$X:D\times n$$
$$Z=W^{T}X$$

目标：最大化投影后的方差

$$\begin{gathered} \underset{w}{\max }\frac{1}{n}\sum _{i=1}^n(z_i-\bar{z}{)}^2 \\ s.t.||W|{|}^2=I \end{gathered}$$

解

$$\begin{array}{rl}Tar& =\underset{w}{\max }\frac{1}{n}\sum _{i=1}^n(z_i-\bar{z}{)}^2\\ & =\frac{1}{n}\sum _{i=1}^n(w^T{x}_i-w^T{\bar{x}}_i{)}^2\\ & =\frac{1}{n}\sum _{i=1}^n(w^T(x_i-{\bar{x}}_i){)}^2\\ & =\frac{1}{n}\sum _{i=1}^n(w^T(x_i-{\bar{x}}_i)(x_i-{\bar{x}}_i{)}^{T}w)\\ & =\frac{1}{n}{w}^T\sum _{i=1}^n(x_i-{\bar{x}}_i)(x_i-{\bar{x}}_i{)}^{T}w\\ & =\frac{1}{n}{w}^{T}Cov(X)w\end{array}$$
$$s.t.||w|{|}^2=1$$

拉格朗日

$$\begin{array}{rl}L(w,\lambda )& =\frac{1}{n}{w}^{T}Cov(X)w+\lambda (||w|{|}^2-1)\\ & =\frac{1}{n}{w}^{T}Cov(X)w+\lambda (w^{T}w-1)\\ \frac{\partial L}{\partial w}& =\frac{2}{n}Cov(X)w+2\lambda w\end{array}$$

令$\frac{\partial L}{\partial w}=0$ 得

$$Cov(X)w=\lambda w$$

代入Tar

$$Tar=\frac{1}{n}{w}^T\lambda w$$

$\lambda$是常数

$$Tar=\frac{1}{n}\lambda w^{T}w$$

$w^{T}w=1$

$$Tar=\frac{1}{n}\lambda$$

常数乘常数等于常数

$$Tar=\lambda$$

最终要最大化的是一个常数$\lambda$

$\lambda$是什么

$$Cov(X)w=\lambda w$$

$\lambda$就是$Cov(X)$的特征值，而我们要最大化$\lambda$，就是对$Cov(X)$进行特征值分解，然后找到最大的特征值，这个最大的特征值对应的特征向量即$w$

现在只找到一个投影方向$w$，我们要找到d个投影方向才能将原数据降到d维

像上面这样我们已经找到第一个投影方向$w_1$了，我们要找的第二个投影方向$w_2$，先给$w_2$加一点约束条件，$w_1\cdot w_2=0$，或写成$w_1^T{w}_2=0$，即$w_1$与$w_2$正交，
$$Tar=\frac{1}{n}{w}_2^{T}Cov(X)w_2$$
$$s.t.||w_2|{|}^2=1,w_1^T{w}_2=0$$

拉格朗日

$$\begin{array}{rl}L(w,\lambda )& =\frac{1}{n}{w}_2^{T}Cov(X)w_2+\alpha (||w_2|{|}^2-1)+\beta (w_1^T{w}_2-0)\\ & =\frac{1}{n}{w}_2^{T}Cov(X)w_2+\alpha (w_2^T{w}_2-1)+\beta (w_1^T{w}_2-0)\\ \frac{\partial L}{\partial w_2}& =\frac{2}{n}Cov(X)w_2+2\alpha w_2+\beta w_1\end{array}$$

令$\frac{\partial L}{\partial w_2}=0$ 得

$$Cov(X)w_2=\alpha w_2+\beta w_1$$
$\alpha ,\beta$都是常数可以把$\frac{2}{n},+,-$什么的都吸收进去，所以上式没错

然后呢这条式子说明$Cov(X)w_2由w_2和w_1$线性表示，因为$Cov(X)w_2$在$w_2$方向上，而$w_1$与$w_2$正交，所以$Cov(X)w_2=\alpha w_2$，$\beta =0$

同上面一样我们也是要最大化这个$\alpha$

因为最大的特征值已经是对应第一个特征向量的了，因此我们要选的是第二大特征值，它所以对应的特征向量就是我们的第二个投影方向$w_2$

同理我们可以一直找到d个投影方向

这d个投影方向就是我们对$Cov(X)$进行特征分解后前d个最大的特征值所对应的特征向量

有了投影向量矩阵$W$后我们就可以通过$W^{T}X$得到降到d维后的数据$Z$了