详解PCA（主成分分析）原理

在我们之前分类器的讨论中，如SVM、贝叶斯判别等，都假定已给出了特征向量维数确定的样本集，其中各样本的每一维都是该样本的一个特征。然而不同的特征对于分类器设计的影响是不同的，如果将数目很多的测量值不做分析，全部直接用作分类特征，不但耗时，而且会影响到分类的效果，产生“特征维数灾难”问题。因此，我们需要对特征进行选择和提取，即“降维”。

简介

PCA，全名主成分分析（Principal Component Analysis），又称为K-L变换，是一种特征提取的方法。与简单地删掉某$n-k$个特征不同，PCA将原来的特征做正交变换，获得的每个数据都是原来$n$个数据的线性组合，然后从新的数据中选出少数几个，使其尽可能多地反映各类模式之间的差异。而这些特征间又尽可能相互独立，则比单纯的选择方法更灵活、更有效。而PCA就是一种适用于任意概率密度函数的正交变换。

PCA的离散展开式

设一连续的随机实函数$\mathbf{x}(t),T_1\le t\le T_2$，则$\mathbf{x}(t)$可用已知的正交函数集 { ϕ j ( t ) , j = 1 , 2 , …   } \{\phi_j(t), j = 1, 2, \dots \} {ϕj​(t),j=1,2,…}的线性组合来展开，即

$$\begin{array}{rl}\mathbf{x}(t)& =a_1{\varphi }_1(t)+a_2{\varphi }_2(t)+\cdots +a_j{\varphi }_j(t)+\cdots \\ & =\sum _{j=1}^{\infty }{a}_j{\varphi }_j(t),T_1\le t\le T_2\end{array}$$

式中，$a_j$为展开式的随机系数，${\varphi }_j(t)$为一连续的正交函数，它应满足，

$${\int }_{T_1}^{T_2}{\varphi }_i(t){\tilde{\varphi }}_j(t)=\{\begin{array}{rl}& 0,ifi̸=j,\\ & 1,ifi==j.\end{array}$$

其中，${\tilde{\varphi }}_j(t)$为${\varphi }_j(t)$的共轭复数式。

将上式写成离散的正交函数形式，使连续随机函数$\mathbf{x}(t)$和连续正交函数${\varphi }_j(t)$在区间$T_1\le t\le T_2$内被等间隔采样为$n$个离散点，即，

x ( t ) → { x ( 1 ) , x ( 2 ) , … x ( n ) } ϕ j ( t ) → { ϕ j ( 1 ) , ϕ j ( 2 ) , … ϕ j ( n ) } \begin{aligned} \mathbf{x}(t) &\to \{\mathbf{x}(1), \mathbf{x}(2), \dots \mathbf{x}(n)\} \\ \phi_j(t) &\to \{\phi_j(1), \phi_j(2), \dots \phi_j(n)\} \\ \end{aligned} x(t)ϕj​(t)​→{x(1),x(2),…x(n)}→{ϕj​(1),ϕj​(2),…ϕj​(n)}​

写成向量形式，

$$\begin{array}{rl}\mathbf{x}& =(\mathbf{x}(1),\mathbf{x}(2),\dots ,\mathbf{x}(n){)}^T\\ {\varphi }_j& =({\varphi }_j(1),{\varphi }_j(2),\dots ,{\varphi }_j(n){)}^T\end{array}$$

将原展开式取$n$项近似，有，

$$\mathbf{x}=\sum _{j=1}^n{a}_j{\varphi }_j=\Phi \mathbf{a},T_1\le t\le T_2$$

其中，$\mathbf{a}$为展开式中随机系数的向量形式，即

$$\mathbf{a}=(a_1,a_2,\dots ,a_n{)}^T$$

$\Phi$是一$n\times n$的矩阵，

$$\Phi =({\varphi }_1,{\varphi }_2,\dots ,{\varphi }_n)=\left[\begin{array}{rlrlr}& {\varphi }_1(1)& {\varphi }_2(1)& \dots & {\varphi }_n(1)\\ & {\varphi }_1(2)& {\varphi }_2(2)& \dots & {\varphi }_n(2)\\ & \dots & \dots & \dots & \dots \\ & {\varphi }_1(n)& {\varphi }_2(n)& \dots & {\varphi }_n(n)\end{array}\right]$$

其中，每一列为正交函数集中的一个函数，小括号内的序号为正交函数的采样点次序。因此，$\Phi$实质上是由${\varphi }_j$向量组成的正交变换矩阵，它将$\mathbf{x}$变换成$\mathbf{a}$。

正交向量集的确定

在前面的讨论中，我们讨论了PCA的离散展开式，其实际上就是将原样本$\mathbf{x}$变换为$\mathbf{a}$。而变换的重点则是正交向量集$\Phi$的确定。

在直接讨论正交向量集$\Phi$之前，我们不妨先看看其他基本参量。设随机向量$\mathbf{x}$的总体自相关矩阵为 R = E { x x T } R = E\{\mathbf{x}\mathbf{x}^{T}\} R=E{xxT}，由

$$\mathbf{x}=\sum _{j=1}^n{a}_j{\varphi }_j=\Phi \mathbf{a},T_1\le t\le T_2$$

将$\mathbf{x}=\Phi \mathbf{a}$代入 R = E { x x T } R = E\{\mathbf{x}\mathbf{x}^{T}\} R=E{xxT}，得

R = E { Φ a a T Φ T } = Φ E { a a T } Φ T R = E\{\Phi\mathbf{a}\mathbf{a}^{T}\Phi^{T}\} = \Phi E\{\mathbf{a}\mathbf{a}^{T}\}\Phi^{T} R=E{ΦaaTΦT}=ΦE{aaT}ΦT

因为我们希望向量$\mathbf{a}$的各个不同分量应统计独立，即应使$(a_1,a_2,\dots ,a_j,\dots ,a_n)$满足以下关系，

$$E(a_i{a}_j)=\{\begin{array}{rlr}& {\lambda }_i,& ifi=j\\ & 0,& ifi̸=j\end{array}$$

写成矩阵形式，应使： E { a a T } = D λ E\{a a^{T}\} = D_{\lambda} E{aaT}=Dλ​，其中$D_{\lambda }$为对角形矩阵，其互相关成分均为0，即，

$$D_{\lambda }=\left[\begin{array}{rlrlrl}& {\lambda }_1& 0& \dots & \dots & 0\\ & 0& {\lambda }_2& \dots & \dots & 0\\ & \dots & \dots & \dots & \dots & \dots \\ & 0& 0& \dots & \dots & {\lambda }_n\end{array}\right]$$

则，

$$R=\Phi D_{\lambda }{\Phi }^T$$

由于$\Phi$中的各个向量${\varphi }_j$都相互归一正交，故有，

$$R\Phi =\Phi D_{\lambda }{\Phi }^T\Phi =\Phi D_{\lambda }$$

其中，${\varphi }_j$向量对应为，

$$R{\varphi }_j={\lambda }_j{\varphi }_j$$

由矩阵知识可以看出，${\lambda }_j$是$\mathbf{x}$的自相关矩阵$R$的特征值，${\varphi }_j$是对应的特征向量。因为$R$是实对称矩阵，其不同特征值对应的特征向量应正交，即，

$${\varphi }_i^T{\varphi }_j=\{\begin{array}{rlr}& 0& ifi̸=j\\ & 1& ifi=j\end{array}$$

计算步骤

好了，罗里吧嗦说了这么多，大家可能会有疑问。PCA到底是什么？到底怎么做啊？

首先，PCA用于特征选择相当于一种线性变换，若从$\Phi$这$n$个特征向量中取出$m$个组成变换矩阵$\hat{\Phi }$，即

$$\hat{\Phi }=({\varphi }_1,{\varphi }_2,\dots ,{\varphi }_m),m<n$$

此时，$\hat{\Phi }$是一个$n\times m$维矩阵，$\mathbf{x}$是$n$维向量，经过${\hat{\Phi }}^T\mathbf{x}$变换，即得到降维为$m$的新向量。

因此，PCA的计算步骤如下，

1. 计算整体样本的均值，并对全部样本减去均值，以使均值成为新座标轴的原点；
2. 求随机向量$\mathbf{x}$的自相关矩阵： R = E { x x T } R = E\{\mathbf{x}\mathbf{x}^{T}\} R=E{xxT}；
3. 求出矩阵$R$的特征值${\lambda }_j$和对应的特征向量${\varphi }_j,j=1,2,\dots ,n$，得矩阵
   $$\Phi =({\varphi }_1,{\varphi }_2,\dots ,{\varphi }_n)$$
4. 从中选取按照特征值大小，降序选取前$m$个特征向量${\varphi }_j$，构成矩阵$\hat{\Phi }$；
5. 计算展开式系数
   $$\mathbf{a}={\hat{\Phi }}^T\mathbf{x}$$

有效性

好了，PCA的计算步骤我们清楚了。可是，它为什么有效呢？它是如何保证降维后的特征向量与原特征向量的误差尽可能地小的？不急，我们接下来就来证明这一点。

我们已知，对于$\mathbf{x}={\sum }_{j=1}^n{a}_j{\varphi }_j$，现取$m$项，对略去的系数项用预先选定的常数$b$代替，此时对$\mathbf{x}$的估计值为，

$$\hat{\mathbf{x}}=\sum _{j=1}^m{a}_j{\varphi }_j+\sum _{j=m+1}^{n}b{\varphi }_j$$

则产生的误差为，

$$\Delta \mathbf{x}=\mathbf{x}-\hat{\mathbf{x}}=\sum _{j=m+1}^n(a_j-b){\varphi }_j$$

则$\Delta \mathbf{x}$的均方误差为，

ε ˉ 2 = E { ∣ ∣ Δ x ∣ ∣ } 2 = ∑ i = m + 1 n { E ( a j − b ) 2 } \bar{\varepsilon}^2 = E\{||\Delta \mathbf{x}||\}^2 = \sum_{i = m + 1}^{n} \{E(a_j - b)^2\} εˉ2=E{∣∣Δx∣∣}2=i=m+1∑n​{E(aj​−b)2}

要使${\bar{\epsilon }}^2$最小，则对$b$的选择应满足，

$$\frac{\partial }{\partial b}E(a_j-b{)}^2=-2[E(a_j-b)]=0$$

因此，$b=E(a_j)$，即对省略掉的a中的分量，应使用它们的数学期望来代替，此时的误差为，

ε ˉ 2 = ∑ j = m + 1 n E [ ( a j − E { a j } ) 2 ] = ∑ j = m + 1 n ϕ j T E [ ( x − E { x } ) ( x − E { x } ) T ] ϕ j = ∑ j = m + 1 n ϕ j T C x ϕ j \begin{aligned} \bar{\varepsilon}^2 &amp;= \sum_{j = m + 1}^{n}E[(a_j - E\{a_j\})^{2}] \\ &amp;= \sum_{j = m + 1}^{n}\phi_{j}^{T}E[(\mathbf{x} - E\{\mathbf{x}\})(\mathbf{x} - E\{\mathbf{x}\})^{T}]\phi_j \\ &amp;= \sum_{j = m + 1}^{n}\phi_j^TC_{\mathbf{x}}\phi_j\\ \end{aligned} εˉ2​=j=m+1∑n​E[(aj​−E{aj​})2]=j=m+1∑n​ϕjT​E[(x−E{x})(x−E{x})T]ϕj​=j=m+1∑n​ϕjT​Cx​ϕj​​

其中，$C_{\mathbf{x}}$为$\mathbf{x}$的协方差矩阵。设${\lambda }_j$为$C_{\mathbf{x}}$的第$j$个特征值，${\varphi }_j$是与${\lambda }_j$对应的特征向量，则

$$C_{\mathbf{x}}{\varphi }_j={\lambda }_j{\varphi }_j$$

由于

$${\varphi }_j^T{C}_{\mathbf{x}}{\varphi }_j={\lambda }_j$$

因此，

$${\bar{\epsilon }}^2=\sum _{j=m+1}^n{\varphi }_j^T{C}_{\mathbf{x}}{\varphi }_j=\sum _{j=m+1}^n{\lambda }_j$$

由此可以看出，${\lambda }_j$值越小，误差也越小。因此，我们也可以说对于PCA，最小化样本均方误差等价于最大化样本方差。

总结

PCA是在均方误差最小的意义下获得数据压缩（降维）的最佳变换，且不受模式分布的限制。对于一种类别的模式特征提取，它不存在特征分类问题，只是实现用低维的$m$个特征来表示原来高维的$n$个特征，使其误差最小，亦即使其整个模式分布结构尽可能保持不变。

参考文献

黄庆明，《第四章.ppt》

郭嘉丰，《无监督学习——维度约简》