从数学理解主成分分析

本文进行出发点是一个包含N个对象的$y_n$的数据集，每一个对象是一个M维的向量。

基于主成分分析，我们希望将M维数据转化为D维数据。PCA定义了一组线性投影，每个投影维度都是原始数据的一个线性组合。即如果从M维投影到D维，PCA定义D个向量$w_d$(每个都是M维)，其中投影空间的第d个元素$x_{nd}$(其中$x_n=[x_{n1},x_{n2},\dots ,x_{nD}]$),使用下式计算：
$$x_{nd}={\mathbf{w}}_d^{\top }{\mathbf{y}}_n$$

学习的主要任务是选择将多少数据数据维度投影到D，然后为每一个原始数据维度选择一个投影向量$w_d$

需满足如下约束：

• 选择投影的条件：方差最大化（表示最多的信息）

• 投影后向量互不相关：投影互相垂直
  $${\mathbf{w}}_i^{\top }{\mathbf{w}}_j=0,\forall j\ne i$$

• 投影后向量的长度不发生改变（$||w_i||=1$）

正式推导

为便于推导给出假设条件（可以通过减去$\overline{\mathbf{y}}$得到满足）：
$$\overline{\mathbf{y}}=\frac{1}{N}\sum _{n=1}^N{\mathbf{y}}_n=0$$
从D=1维度开始，此时仅需要找到一个$w$向量，此时投影结果为一数值。
$$x_n={\mathbf{w}}^{\top }{\mathbf{y}}_n$$
故${\sigma }_x^2$可表示为：
$${\sigma }_x^2=\frac{1}{N}\sum _{n=1}^N{\left(x_n-\bar{x}\right)}^2$$
基于$\overline{\mathbf{y}}=0$的假设，可对$\overline{\mathbf{x}}$进行简化，
$$\begin{array}{rl}\bar{x}& =\frac{1}{N}\sum _{n=1}^N{\mathbf{w}}^{\top }{\mathbf{y}}_n\\ & ={\mathbf{w}}^{\top }\left(\frac{1}{N}\sum _{n=1}^N{\mathbf{y}}_n\right)\\ & ={\mathbf{w}}^{\top }\overline{\mathbf{y}}=0\end{array}$$
故${\sigma }_x^2$可表示为：
$${\sigma }_x^2=\frac{1}{N}\sum _{n=1}^N{x}_n^2$$
代入$x_n={\mathbf{w}}^{\top }{\mathbf{y}}_n$可得：
$$\begin{array}{rl}{\sigma }_x^2& =\frac{1}{N}\sum _{n=1}^N{\left({\mathbf{w}}^{\top }{\mathbf{y}}_n\right)}^2\\ & =\frac{1}{N}\sum _{n=1}^N{\mathbf{w}}^{\top }{\mathbf{y}}_n{\mathbf{y}}_n^{\top }\mathbf{w}\\ & ={\mathbf{w}}^{\top }\left(\frac{1}{N}\sum _{n=1}^N{\mathbf{y}}_n{\mathbf{y}}_n^{\top }\right)\mathbf{w}\\ {\sigma }_x^2& ={\mathbf{w}}^{\top }\mathbf{C}\mathbf{w}\end{array}$$
其中C为样本的协方差矩阵，定义为：
$$\mathbf{C}=\frac{1}{N}\sum _{n=1}^N\left({\mathbf{y}}_n-\overline{\mathbf{y}}\right){\left({\mathbf{y}}_n-\overline{\mathbf{y}}\right)}^{\top }$$
注意：该式意味着通过强制$\overline{\mathbf{y}}=0$，可以对数据进行变换而不损失任何信息（方差代表了信息量）。即无论是否强制$\overline{\mathbf{y}}=0$，C都相同。

PCA目标： 最大化方差 即最大化${\mathbf{w}}^{\top }\mathbf{C}\mathbf{w}$

• 通过增加$\mathbf{w}$中元素的值，来实现增加 {} ${\mathbf{w}}^{\top }\mathbf{C}\mathbf{w}$。——这就是为何要限制$||w_i||=1$。

• 在$||w_i||=1$的条件下，使得${\mathbf{w}}^{\top }\mathbf{C}\mathbf{w}$最大（拉格朗日乘数法）

  $$L={\mathbf{w}}^{\top }\mathbf{C}\mathbf{w}-\lambda \left({\mathbf{w}}^{\top }\mathbf{w}-1\right)$$

$$\frac{\partial \mathbf{L}}{\partial \mathbf{w}}=2\mathbf{C}\mathbf{w}-2\lambda \mathbf{w}=0$$

$$\mathbf{C}\mathbf{w}=\lambda \mathbf{w}$$

由上式联想到特征向量和特征值

对上述向量同时左乘${\mathbf{w}}^{\top }$可得：
$${\mathbf{w}}^{\top }\mathbf{C}\mathbf{w}={\mathbf{w}}^{\top }\lambda \mathbf{w}$$
由于${\mathbf{w}}^{\top }\mathbf{w}=1$且${\sigma }_x^2={\mathbf{w}}^{\top }\mathbf{C}\mathbf{w}$，
$${\sigma }_x^2=\lambda$$
即特征值$\lambda$对应于$\mathbf{w}$定义的投影空间中数据的方差！

如果找到协方差矩阵$\mathbf{C}$中的$M$个特征向量/特征向量对，则最大的特征值对应的特征向量/特征值对应的就是方差最大化方向上的投影${\mathbf{w}}_1$，排在第二位的特征值对应${\mathbf{w}}_2$，排在第三位的特征值对应${\mathbf{w}}_3$

仅仅保证了方差最大，线性无关呢？

特征向量之间是否相互垂直——对于不同特征值的特征值一定是垂直的
$$\begin{gathered} \mathbf{A}{\mathbf{w}}_1={\lambda }_1{\mathbf{w}}_1 \\ \mathbf{A}{\mathbf{w}}_2={\lambda }_2{\mathbf{w}}_2 \end{gathered}$$
不妨一个左乘${\mathbf{w}}_2^{\top }$，一个左乘${\mathbf{w}}_1^{\top }$，可得：
$$\begin{gathered} {\mathbf{w}}_2^{\top }\mathbf{A}{\mathbf{w}}_1={\mathbf{w}}_2^{\top }{\lambda }_1{\mathbf{w}}_1 \\ {\mathbf{w}}_1^{\top }\mathbf{A}{\mathbf{w}}_2={\mathbf{w}}_1^{\top }{\lambda }_2{\mathbf{w}}_2 \end{gathered}$$
对于等式左边而言${\mathbf{w}}_2^{\top }\mathbf{A}{\mathbf{w}}_1={\mathbf{w}}_1^{\top }\mathbf{A}{\mathbf{w}}_2$(数值)，故等式右面也一定相等，即
$${\mathbf{w}}_2^{\top }{\lambda }_1{\mathbf{w}}_1={\mathbf{w}}_1^{\top }{\lambda }_2{\mathbf{w}}_2$$
又因为${\mathbf{w}}_2^{\top }{\mathbf{w}}_1={\mathbf{w}}_1^{\top }{\mathbf{w}}_2$，故可移项得，
$$({\lambda }_1-{\lambda }_2){\mathbf{w}}_1^{\top }{\mathbf{w}}_2=0$$

由于${\lambda }_1\ne {\lambda }_2$故可得${\mathbf{w}}_1^{\top }{\mathbf{w}}_2$，故可得不同特征值对应的特征向量一定线性无关。

---

总结

在数据对象集合${\mathbf{y}}_1,\dots ,{\mathbf{y}}_N$上进行投影操作（定义$\mathbf{Y}=[{\mathbf{y}}_1,\dots ,{\mathbf{y}}_N{]}^{\top }$）包括以下步骤:

1. 让每个元素减去$\overline{\mathbf{y}}$，使得$M$维数据的均值为0，其中$\overline{\mathbf{y}}=\frac{1}{N}{\sum }_{n=1}^N{\mathbf{y}}_n$.
2. 计算样本的协方差矩阵$\mathbf{C}=\frac{1}{N}{\sum }_{n=1}^N{\mathbf{y}}_n{\mathbf{y}}_n^{\top }$或$\left(\mathbf{C}=\frac{1}{N}{\mathbf{Y}}^{\top }\mathbf{Y}\right)$
3. 求解得到M个特征向量/特征值对
4. 找到$D$个最大的特征值对应的特征向量${\mathbf{w}}_1,\dots ,{\mathbf{w}}_D$
5. 在投影空间中，为对象n建立第d维$x_{nd}={\mathbf{w}}_d^{\top }{\mathbf{y}}_n$(或者$\mathbf{X}=\mathbf{Y}\mathbf{W}$其中$\mathbf{W}=\left[{\mathbf{w}}_1,\dots ,{\mathbf{w}}_D\right]$，即按顺序排列D个特征向量建立$M\times D$矩阵，X为$N\times D$矩阵，定义为$\mathbf{X}=\left[{\mathbf{x}}_1,\dots ,{\mathbf{x}}_N\right]$)