主成分分析（Principal Components Analysis）

主成分分析PCA(Principal Component Analysis),作用是:

1. 聚类 Clustering：把复杂的多维数据点,简化成少量数据点,易于分簇
2. 降维：降低高维数据,简化计算,达到数据降维,压缩,降噪的目的

PCA 的目的就是找到一个低维映射空间，使得数据映射后方差最大。

理论实现：

首先对样本空间为 $d$ 维全部的数据中心化，使得均值为 0，即将所有的样本与样本均值相减获得新的样本：

$${\mathbf{x}}_i={\mathbf{x}}_i-\mu$$

也就是说转换后：

$$\frac{1}{N}\sum _{i=1}^N{\mathbf{x}}_i=0_d$$

知识补充：

求向量 u 在向量 v 上的投影：

那么根据上图可以列出以下公式
$$\begin{array}{rl}{u}^{\prime }& =\frac{d}{|v|}v\\ d& =|u|\cos \theta \\ \cos \theta & =\frac{u^T\cdot v}{|u||v|}\end{array}$$
所以可以解出向量 $u$ 在向量 $v$ 上的投影 $u^{\prime }$ 为：
$$u^{\prime }=\frac{u^T\cdot v}{|v{|}^2}v$$
那么将向量 $v$ 所在直线视为一维空间，那么向量 $u$ 映射在该维度的表示为
$$u^v=\frac{u^T\cdot v}{|v|}=\frac{v^T\cdot u}{|v|}$$
也就是说映射后的长度（有方向）成为向量 $u$ 映射在该维度的表示。

那么现在求取映射后空间，先考虑映射到一维空间，也就是说向一个向量做投影，假如现在向向量 $u_1$ 做投影。

那么由于一开始的中心化操作，使得映射后均值仍然为零：

$$\frac{1}{n}\sum _{i=1}^n\frac{u_1^T}{|u_1|}{\mathbf{x}}_i=\frac{u_1^T}{|u_1|}\sum _{i=1}^n\frac{1}{n}{\mathbf{x}}_i=0$$

那么映射后的方差有：

$$\frac{1}{n}\sum _{i=1}^n{\left(\frac{u_1^T}{|u_1|}{\mathbf{x}}_i-0\right)}^2=\frac{1}{n}\sum _{i=1}^n\frac{u_1^T}{|u_1|}{\mathbf{x}}_i{\mathbf{x}}_i^T\frac{u_1}{|u_1|}=\frac{u_1^T}{|u_1|}\frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i{\mathbf{x}}_i^T\frac{u_1}{|u_1|}=\frac{u_1^T}{|u_1|}S\frac{u_1}{|u_1|}$$

其中 $S$ 为数据集的协方差矩阵：

$$S=\frac{1}{n}\sum _{i,j=1}^n{\mathbf{x}}_i^T\cdot {\mathbf{x}}_j$$

现在想要映射在该一维空间后数据的方差最大，那么该优化问题为：

$$\begin{array}{rl}\underset{u_1}{\max }& u_1^T\cdot S\cdot u_1\\ \text{ s.t.}& {\Vert u_1\Vert }_2^2=1\end{array}$$

其中为了方便，将映射向量的长度定为一作为约束条件。为了去掉这一约束条件，使用拉格朗日乘数法转换该最优化问题：

$$\underset{u_1}{\max }\left\{u_1^T\cdot S\cdot u_1+\lambda \left(1-{\Vert u_1\Vert }_2^2\right)\right\}$$

对于凸优化问题，在最优点出导数为零，所以最优解的必要条件为：

$$2u_1\cdot S+\lambda \left(-2u_1\right)=0$$

也就是说：

$$S{u}_1=\lambda u_1$$

可以看出 $u_1$ 是协方差矩阵 $S$ 的一个特征向量，那么现在代入到原最优化问题：

$$\begin{array}{rl}\underset{u_1}{\max }& u_1^T\cdot \lambda \cdot u_1\\ \text{ s.t.}& {\Vert u_1\Vert }_2^2=1\end{array}$$

可以进一步转换为：

$$\begin{array}{rl}\underset{u_1}{\max }& \lambda \\ \text{ s.t.}& {\Vert u_1\Vert }_2^2=1\end{array}$$

也就是说在约束条件下希望该特征值最大。那么推广到多维空间映射，仍然适用。那么最佳的多维空间则由 Top $d^{\prime }$ 特征值（最大的$d^{\prime }$ 个特征值）所对应的特征向量构成。

那么PCA的具体实现流程 ：

$$\begin{array}{rl}& \text{ 1. let }\overline{\mathbf{x}}=\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n,\text{ and let }{\mathbf{x}}_n\leftarrow {\mathbf{x}}_n-\overline{\mathbf{x}},X^T=[{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_N]\\ & \text{ 2. calculate }\tilde{d}\text{ top eigenvectors }{\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{\tilde{d}}\text{ of }{\mathbf{X}}^T\mathbf{X}\\ & \text{ 3. return feature transform }\mathbf{\Phi }(\mathbf{x})=\mathbf{W}(\mathbf{x}-\overline{\mathbf{x}})\end{array}$$