【Python机器学习】之 PCA 算法（一）

PCA 原理

1、PCA 原理推导

​ 假设有 M 个样本 $x_1,x_2,...,x_m$ ，每个样本点 $x_i$ 含有 N 个特征，则每个样本数据可以表示为： $x_i=(x_i^{(1)},(x_i^{(2)},...,(x_i^{(n)})$，整体样本数据在 N 维特征空间的原始坐标系为 $I=(i_1,i_2,...,i_n)$， $I$ 是一组标准正交基，即有如下性质：
$$\begin{array}{rl}||i_s|{|}_2=& 1\\ i_s^T\cdot i_t=& 0,s\ne t\end{array}$$
​ 样本点 $x_i$ 在原始坐标系中的表示为：
$$x_i=(i_1,i_2,...,i_n)\cdot \left(\begin{array}{c}{x}_i^{(1)}\\ x_i^{(2)}\\ ⋮\\ x_i^{(n)}\end{array}\right),i=1,2,3...,m$$
​ 假设进行线性变换之后得到的新的坐标系为 $J=(j_1,j_2,...,j_{n^{\prime }})$， $J$ 同样是一组标准正交基，即满足上述正交基的性质。则样本点 $x_i$ 在新的坐标系中的近似表示为：
$$\stackrel{\sim }{x_i}=(j_1,j_2,...,j_{n^{\prime }})\cdot \left(\begin{array}{c}{z}_i^{(1)}\\ z_i^{(2)}\\ ⋮\\ z_i^{(n^{\prime })}\end{array}\right),i=1,2,3...,m$$
​ 根据正交基的性质， $j_s$ 可以等价于：
$$j_s=(i_1,i_2,...,i_n)\cdot \left(\begin{array}{c}{j}_s\cdot i_1\\ j_s\cdot i_2\\ ⋮\\ j_s\cdot i_n\end{array}\right),s=1,2,3...,m^{\prime }$$
​ 令：
$$w_s=\left(\begin{array}{c}{j}_s\cdot i_1\\ j_s\cdot i_2\\ ⋮\\ j_s\cdot i_n\end{array}\right),s=1,2,3...,m^{\prime }$$
​ 则 $w_s$ 是一个新的基向量，其各分量就是基向量 $j_s$ 在原始坐标系 $(i_1,i_2,...,i_n)$ 中的投影。所以，$j_s$ 可以写为：
$$j_s=(i_1,i_2,...,i_n)\cdot w_s,s=1,2,...,n^{\prime }$$
​ 根据正交基性质，有 $||w_s|{|}_2=1,w_s^T\cdot w_t=0,s\ne t$。

​ 类似的有 $w_1,w_2,...,w_{n^{\prime }}$，将其写成矩阵形式为：
$$W=[w_1,w_2,...,w_{N^{\prime }}]=\left(\begin{array}{cccc}{j}_1\cdot i_1& j_2\cdot i_1& \cdots & j_{n^{\prime }}\cdot i_1\\ j_1\cdot i_2& j_2\cdot i_2& \cdots & j_{n^{\prime }}\cdot i_2\\ ⋮& ⋮& \ddots & ⋮\\ j_1\cdot i_n& j_2\cdot i_n& \cdots & j_{n^{\prime }}\cdot i_n\end{array}\right)$$
​ 则 W 就称为坐标变换矩阵，且有 $W=W^T,W{W}^T=I$ 。根据坐标变换矩阵，新坐标系和原始坐标系直接的关系可以表示为：
$$(j_1,j_2,...,j_{n^{\prime }})=(i_1,i_2,...,i_n)\cdot W$$
​ 将其带入前面 $x_i$ 在新坐标系中的近似表达式，可得：
$$\stackrel{\sim }{x_l}=(j_1,j_2,...,j_{n^{\prime }})\cdot \left(\begin{array}{c}{z}_i^{(1)}\\ z_i^{(2)}\\ ⋮\\ z_i^{(n^{\prime })}\end{array}\right)=(i_1,i_2,...,i_n)W\cdot \left(\begin{array}{c}{z}_i^{(1)}\\ z_i^{(2)}\\ ⋮\\ z_i^{(n^{\prime })}\end{array}\right)$$
​ 再将其与 $x_i$ 在原始坐标系中的表达式 $x_i=(i_1,i_2,...,i_n)\cdot \left(\begin{array}{c}{x}_i^{(1)}\\ x_i^{(2)}\\ ⋮\\ x_i^{(n)}\end{array}\right)$ 比较可知，通过坐标变换来降维，相当于是用 $W{z}_i$ 去近似表示了 $x_i$ ，使：
$$x_i=W{z}_i$$
​ 即：
$$z_i=W^{-1}{x}_i=W^T{x}_i$$
​ 则有：
$$z_i=w_s^T{x}_i,s=1,2,3...,n^{\prime }$$

一般，$n^{\prime }$ 会远小于 $n$ ，这样就可以达到降维的目的了。将维度由 $M$ 降到 $M^{\prime }$ ，相当于人为的丢弃了部分坐标。我们的要求是：基于将为后的坐标重构样本时，得到的重构样本与原始原本坐标尽量相同。对于样本点 $x_i$ 来说，即要使 $W{z}_i$ 和 $x_i$ 的距离最小化，推广到整体样本点，即：
$$min\sum _{i=1}^M||W{z}_i-x_i|{|}_2^2$$
​ 先计算 $||W{z}_i-x_i|{|}_2^2$，即
$$\begin{gathered} \sum _{i=1}^M||W{z}_i-x_i|{|}_2^2 \\ \begin{array}{rl}& =(\sum _{i=1}^M{x}_i^T{x}_i)-tr[W^T(\sum _{i=1}^M{x}_i^T{x}_i)W]\\ & =(\sum _{i=1}^M{x}_i^T{x}_i)-tr(W^{T}X{X}^{T}W)\end{array} \end{gathered}$$
​ 因为对于给定 M 个样本，$\sum _{i=1}^n{x}_i^T{x}_i$ 是一个固定值，因此最小化上面的结果等价于：
$$\begin{gathered} min-tr(W^{T}X{X}^{T}W) \\ s.t.W^{T}W=I \end{gathered}$$
​ 构造拉格朗日函数：
$$L(W)=-tr(W^{T}X{X}^{T}W)+\lambda (W^{T}W-I)$$
​ 对 $W$ 求导，可得：

$$-X{X}^{T}W+\lambda W=0$$

​ 移项可得；
$$X{X}^{T}W=\lambda W$$
​
可以看出，坐标变换矩阵 $W$ 为 $X{X}^T$ 的 $M^{\prime }$ 个特征向量组成的矩阵，而 $\lambda$ 为 $X{X}^T$ 的特征值。当我们将原始数据集从 $N$ 维降到 $N’$ 维时，只需要找到 $X{X}^T$ 最大的 $N’$ 个特征值对应的特征向量，将其组成坐标变换矩阵（投影矩阵） $W$ ，然后利用$z_i=W^T{x}_i$ 即可实现降维的目的。

---

文中实例及参考：

• 《机器学习基础》

---