十八.降维之主成分分析(PCA)原理和sklearn实现

1.PCA原理

PCA的目的是找出数据中最主要的方面，用数据最主要的方面来代替原始数据。
于PCA的原理有两种解释，一种为最小投影距离，另一种为最大投影方差。
这里从最大投影方差来推理PCA：
(1)$m$个$n$维样本，将数据中心化后满足：
$$\sum _{i=1}^m{x}^i=0$$
(2)投影基坐标$\mathbf{W}=({\mathbf{w}}_1,{\mathbf{w}}_2,{\mathbf{w}}_3,...,{\mathbf{w}}_k)$，为标准正交基，$k$为要降到的维数，即：
$${\mathbf{w}}_i^T{\mathbf{w}}_i=1,{\mathbf{w}}_i{\mathbf{w}}_j=0$$
(3)投影后第$i$个样本${\mathbf{x}}_{\mathbf{i}}$在新坐标系中的坐标为${{\mathbf{x}}_{\mathbf{i}}}^T\mathbf{W}$，则协方差矩阵为：
$$\sum _{i=1}^m({{\mathbf{x}}_{\mathbf{i}}}^T\mathbf{W}{)}^T{{\mathbf{x}}_{\mathbf{i}}}^T\mathbf{W}={\mathbf{W}}^{\mathbf{T}}\mathbf{X}{\mathbf{X}}^{\mathbf{T}}\mathbf{W}$$
其中，$\mathbf{X}\in R^{m\times n},\mathbf{W}\in R^{n\times k}$。
最大化投影方差等价于：
$$\begin{gathered} \arg \underset{\mathbf{W}}{\max }{\mathbf{W}}^{\mathbf{T}}\mathbf{X}{\mathbf{X}}^{\mathbf{T}}\mathbf{W} \\ s.t.{\mathbf{W}}^{\mathbf{T}}\mathbf{W}=E \end{gathered}$$
针对每个基坐标${\mathbf{w}}_i$：
$$\begin{gathered} \arg \underset{{\mathbf{w}}_i}{\max }{\mathbf{w}}_{\mathbf{i}}^{\mathbf{T}}\mathbf{X}{\mathbf{X}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{i}} \\ s.t.{\mathbf{w}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{i}}=1 \end{gathered}$$

2.参数学习

带约束的最优化问题，使用拉格朗日乘子法：
$$J({\mathbf{w}}_i)={\mathbf{w}}_{\mathbf{i}}^{\mathbf{T}}\mathbf{X}{\mathbf{X}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{i}}-\lambda (1-{\mathbf{w}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{i}})$$
其中,${\mathbf{w}}_i\in R^{n\times 1},\mathbf{X}\in R^{n\times m},J({\mathbf{w}}_i)\in R$。
要求$\frac{\partial J({\mathbf{w}}_i)}{\partial {\mathbf{w}}_i}$，标量对向量求导，使用矩阵微分：
$$\begin{array}{rl}dJ& =tr[dJ]\\ & =tr[d({\mathbf{w}}_{\mathbf{i}}^{\mathbf{T}})\mathbf{X}{\mathbf{X}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{i}}+{\mathbf{w}}_{\mathbf{i}}^{\mathbf{T}}\mathbf{X}{\mathbf{X}}^{\mathbf{T}}d({\mathbf{w}}_{\mathbf{i}})+\lambda d({\mathbf{w}}^{\mathbf{T}}{)}_{\mathbf{i}}{\mathbf{w}}_{\mathbf{i}}+\lambda {\mathbf{w}}_{\mathbf{i}}^{\mathbf{T}}d({\mathbf{w}}_{\mathbf{i}})]\\ & =tr[2({\mathbf{w}}_{\mathbf{i}}^{\mathbf{T}}\mathbf{X}{\mathbf{X}}^{\mathbf{T}}+\lambda {\mathbf{w}}_{\mathbf{i}}^{\mathbf{T}})d({\mathbf{w}}_{\mathbf{i}})]\end{array}$$
最终求得梯度向量：
$$\frac{\partial J({\mathbf{w}}_i)}{\partial {\mathbf{w}}_i}=({\mathbf{w}}_{\mathbf{i}}^{\mathbf{T}}\mathbf{X}{\mathbf{X}}^{\mathbf{T}}+\lambda {\mathbf{w}}_{\mathbf{i}}^{\mathbf{T}}{)}^T=\mathbf{X}{\mathbf{X}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{i}}+\lambda {\mathbf{w}}_{\mathbf{i}}=0$$
从而得到：
$$\mathbf{X}{\mathbf{X}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{i}}=-\lambda {\mathbf{w}}_{\mathbf{i}}$$
求极值问题转变为求样本协方差矩阵的特征值和特征向量。

3.PCA流程

输入：样本集$\mathbf{X}\in R^{n\times m}$，要降到的维度数$k$。
输出：降维后的数据集$\mathbf{Y}$。
(1)零均质化所有样本：
$$\begin{gathered} \overline{\mathbf{x}}=\frac{1}{m}\sum _{i=1}^m{\mathbf{x}}^i \\ {\mathbf{x}}^i={\mathbf{x}}^i-\overline{\mathbf{x}} \end{gathered}$$
(2)求协方差矩阵$\mathbf{X}{\mathbf{X}}^{\mathbf{T}}$的所有特征值和特征向量。
(3)选择最大的$k$个特征值，按照从大到小排列成矩阵$\mathbf{P}\in R^{k\times n}$。
(4)进行降维：
$$\mathbf{Y}=\mathbf{P}\mathbf{X}$$

4.核主成分分析

有时候，数据不是线性可分的，即不存在一个线性超平面使其直接投影进行PCA降维，因此，需要将数据先投影到较高的维度上，使其在高维线性可分，然后再投影到要降到的维度。

5.sklearn实现PCA

(1)数据集

生成数据。1000个样本，每个样本有3个维度，中心点分别为，[0,0,0],[1,1,1],[2,2,2],[3,3,3]，标准差分别为，[0.2, 0.1, 0.2, 0.2]，随机种子为1。

from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
x,y=make_blobs(n_samples=1000,n_features=3,centers=[[0,0,0],[1,1,1],[2,2,2],[3,3,3]],
               cluster_std=[0.2, 0.1, 0.2, 0.2],random_state=1)
fig = plt.figure()
ax = Axes3D(fig, rect=[0, 0, 1, 1], elev=30, azim=20)
plt.scatter(x[:,0],x[:,1],x[:,2])
plt.show()

(2)模型训练
训练模型。
参数n_components:可以设置为整数，表示所有降到的维度；也可以设置为(0,1]之间的一个数，此时表示主成分的方差和所占的最小比例阈值；也可以设置为’mle’，此时PCA类会用MLE算法根据特征的方差分布情况自己去选择一定数量的主成分特征来降维。
自主选择降维维度：

from sklearn.decomposition import PCA
model1 = PCA(n_components='mle')
x1 = model1.fit_transform(x)
print(x1.shape)

输出：

(1000, 1)

设置维度为2：

model2=PCA(n_components=2)
x2 = model2.fit_transform(x)
print(x2.shape)

输出：

(1000, 2)