机器学习——主成分分析（PCA）

---

以下内容均为个人理解，如有错误，欢迎指出

---

什么是主成分分析

主成分分析（PCA）常用于降维，是一种无监督算法。在周志华老师的《机器学习》一书中，将PCA的降维目的分为最近重构性和最大可分性，最近重构性部分有一丝问题（由于逆矩阵的作用与原矩阵的几何效用相反，基于投影点重构的点和原样本点是相等的，故书中式10.14的值应该等于0），故本文主要讨论最大可分性。

最大可分性：把数据变换到一个新的坐标系统中，使得这一数据的任何投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。

PCA的一点个人理解

方差是度量离散程度的统计量，我们相信方差大的方向是信号的方向，并且方差大的方向对于数据的相对分布具有更大的贡献，考虑二维坐标系xOy，若一组样本点在x轴的取值近似（方差小），在y轴的取值变化较大（方差大），我们将所有的样本点投影到y轴，则样本点在y轴上的相对分布几乎没变（相当于将xOy坐标系的样本点沿x轴进行相同方向相同位移，此时样本点的相对分布并没有发生改变），PCA寻找的新坐标系，将尽可能的保留样本点之间的相对分布

推导过程

符号表

符号名	含义
X	降维前m个样本中心化后构成的矩阵，为$(x_1,x_2,....,x_m)$，设每个样本点的维度为$d$
Y	降维后m个样本点构成的矩阵，为$(y_1,y_2,....,y_m)$,设降维后每个样本点的维度为$d^{\prime }$，$d^{\prime }<d$
W	PCA确定的坐标系，为$(w_1,w_2,...,w_{d^{\prime }})$，为$d\ast d^{\prime }$矩阵，$Y=W^{T}X$，满足$W{W}^T=I$

$Y=W^{T}X$即将样本点从原先的坐标系投影到W构成的坐标系，注意到$W{W}^T=I$，意味着W中的列向量两两正交且膜长为1，以$w_1{x}_1$来说，有$w_1{x}_1=|w_1||x_1|\cos \theta =|x_1|\cos \theta$，即将向量$x_1$投影到向量$w_1$方向的长度，$y_1=W^T{x}_1$，$y_1$表示向量$x_1$投影到向量$w_1,w_2,....w_{d^{\prime }}$方向的长度，即如何用W构成的坐标系表示$x_1$，即将$x_1$投影到$W$构成的坐标系。

接下来，我们看看如何寻找方差最大的方向。

进行PCA之前，我们首先对数据进行中心化（也可以是标准化，只是中心化比较好讨论），即将样本每一维数值减去该维的均值，降维后的样本也满足中心化的要求，我们先认识一下协方差，计算公式为$$cov(X,Y)=\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{n-1}$$协方差表示的是两个变量的总体误差，如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

对于一个m个二维样本构成的矩阵
$$\left\{\begin{array}{c}{x}_1,x_2,...,x_m\\ y_1,y_2,...,y_m\end{array}\right\}\text{\hspace{1em}(式1.0)}$$
其协方差矩阵为
$$\left\{\begin{array}{ccc}& \frac{1}{m-1}{\sum }_{i=1}^m(x_i-\bar{x}{)}^2& \frac{1}{m-1}{\sum }_{i=1}^m(x_i-\bar{x})(y_i-\bar{x})\\ & & \\ & \frac{1}{m-1}{\sum }_{i=1}^m(x_i-\bar{x})(y_i-\bar{y})& \frac{1}{m-1}{\sum }_{i=1}^m(y_i-\bar{y}{)}^2\end{array}\right\}\text{\hspace{1em}(矩阵1.1)}$$
协方差矩阵对角线上的元素表示将样本投影到对应坐标轴后的方差（本例中为投影到X轴与Y轴的方差），设式1.0中心化后的矩阵为$H$，则式1.1可以表示为$\frac{1}{m-1}H{H}^T（式1.0）$

回到PCA的问题，由于我们事先对数据进行了中心化处理，所以降维后的数据的协方差可以表示为$$\frac{1}{m-1}{Y}^{T}Y$$PCA的目的是最大可分性，因此，我们的目的是最大化(常数无影响)$$tr(Y{Y}^T)$$tr称为矩阵的迹，为方形矩阵对角线上元素的和，对式1.0进行变形可得$$tr(Y{Y}^T)=tr(W^{T}X{X}^{T}W)$$
因此，基于最大可分性，PCA的优化目标为$$\begin{gathered} \underset{w}{\max }tr(W^{T}X{X}^{T}W) \\ s.t{W}^{T}W=I\text{\hspace{1em}(式1.1)} \end{gathered}$$
对上述式子使用拉格朗日乘子法（上述约束条件可以写成若干个等式，基于这些等式使用拉格朗日乘子法即可，为了表述方便，下列式子仍用矩阵）$$tr(W^{T}X{X}^{T}W)-\lambda (W^{T}W-I)$$对$W^T$求导置0得$$X{X}^{T}W=\lambda W$$即$$(X{X}^T{w}_1,X{X}^T{w}_2,.....,X{X}^T{w}_{d^{\prime }})=(\lambda w_1,\lambda w_2,....,\lambda w_{d^{\prime }})$$
即$$X{X}^T{w}_i=\lambda w_i(i=1,2....,d^{\prime })$$
由此可知W由$X{X}^T$（d*d的方形矩阵）的$d^{\prime }(d^{\prime }<d)$个特征向量组成，我们只需对$X{X}^T$进行特征分解即可得到所有的特征向量，现在问题是如何选择$d^{\prime }(d^{\prime }<d)$个特征向量构成W，答案是前$d^{\prime }$大的特征值对应的特征向量

d’个数的选择

1、用户事先指定
2、通过对降维后的数据使用KNN进行交叉验证来确定$d^{\prime }$
3、设$X{X}^T$的特征向量为${\lambda }_1,{\lambda }_2,.....,{\lambda }_d$，则有$$\frac{{\sum }_{i=1}^{d^{\prime }}{\lambda }_i}{{\sum }_{i=1}^d{\lambda }_i}\ge t$$
只需事先指定$t$，即可解出$d^{\prime }$