机器学习之PCA主成分分析

最新推荐文章于 2024-10-11 23:19:25 发布

专注于计算机视觉的AndyJiang

最新推荐文章于 2024-10-11 23:19:25 发布

阅读量591

点赞数

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/andyjkt/article/details/107914007

版权

机器学习专栏收录该内容

25 篇文章 2 订阅

订阅专栏

PCA思想

PCA 将高维的数据通过线性变换投影到低维空间上去。
投影思想:找出最能够代表原始数据的投影方法。被 PCA 降掉的那些维度只能是那些噪声或是冗余的数据。
去冗余：去除可以被其他向量代表的线性相关向量,这部分信息量是多余的。
去噪声：去除较小特征值对应的特征向量,特征值的大小反映了变换后在特征向量方向上变换的幅度,幅度越大,说明这个方向上的元素差异也越大,要保留。
对⻆化矩阵：寻找极大线性无关组,保留较大的特征值,去除较小特征值,组成一个投影矩阵,对原始样本矩阵进行投影,得到降维后的新样本矩阵。
完成 PCA 的关键是 —— 协方差矩阵。协方差矩阵,能同时表现不同维度间的相关性以及各个维度上的方差。协方差矩阵度量的是维度与维度之间的关系,而非样本与样本之间。
之所以对⻆化,因为对⻆化之后非对⻆上的元素都是 0 ,达到去噪声的目的。对⻆化后的协方差矩阵,对⻆线上较小的新方差对应的就是那些该去掉的维度。所以我们只取那些含有较大能量 ( 特征值 ) 的维度,其余的就舍掉,即去冗余。

PCA可解决训练数据中存在数据特征过多或特征累赘的问题。核心思想是将 m 维特征映射到 n 维( n < m ),这 n 维形成主元,是重构出来最能代表原始数据的正交特征。

假设数据集是 m 个 n 维, $(\boldsymbol x^{(1)}, \boldsymbol x^{(2)}, \cdots, \boldsymbol x^{(m)})$ 。如果 $n = 2$ ,需要降维到 $n^{'} = 1$ ,现在想找到某一维度方向代表这两个维度的数据。下图有 $u_1, u_2$ 两个向量方向,但是哪个向量才是我们所想要的,可以更好代表原始数据集的呢?
在这里插入图片描述
从图可看出, $u_1$ 比 $u_2$ 好,为什么呢?有以下两个主要评价指标:

样本点到这个直线的距离足够近。
n样本点在这个直线上的投影能尽可能的分开。

如果我们需要降维的目标维数是其他任意维,则:

样本点到这个超平面的距离足够近。
样本点在这个超平面上的投影能尽可能的分开。

PCA算法推理

下面以基于最小投影距离为评价指标推理:
假设数据集是 m 个 n 维, $x^{(1)}, x^{(2)},...,x^{(m)})$ ,且数据进行了中心化。经过投影变换得到新坐标为 ${w_1,w_2,...,w_n}$ ,其中 $w$ 是标准正交基,即 $w |_2 = 1$ , $w^T_iw_j = 0$ 。

经过降维后,新坐标为 ${ w_1,w_2,...,w_n }$ ,其中 $n^{'}$ 是降维后的目标维数。样本点 $x^{(i)}$ 在新坐标系下的投影为 $z^{(i)} = \left(z^{(i)}1, z^{(i)}2, ..., z^{(i)}{n'} \right)$ ,其中 $z^{(i)}j = w^T_jx^{(i)}$ 是 $x^{(i)}$ 在低维坐标系里第 j 维的坐标。

如果用 $z^{(i)}$ 去恢复 $x^{(i)}$ ,则得到的恢复数据为 $\widehat{x}^{(i)} = \sum^{n'}{j=1} x^{(i)}j w_j = Wz^{(i)}$ ,其中 $W$ 为标准正交基组成的矩阵。

考虑到整个样本集,样本点到这个超平面的距离足够近,目标变为最小化 $\sum^m_{i=1}|\hat{x}^{(i)} - x^{(i)} |^2_2$ 。对此式进行推理,可得:
在这里插入图片描述

在推导过程中,分别用到了 $\overline{x}^{(i)} = Wz^{(i)}$ ,矩阵转置公式 $AB)^T = B^TA^T$ , $W^TW = I$ , $z^{(i)} = W^Tx^{(i)}$ 以及矩阵的迹,最后两步是将代数和转为矩阵形式。

由于 $W$ 的每一个向量 $w_j$ 是标准正交基, $\sum^m{i=1} x^{(i)} \left( x^{(i)} \right)^T$ 是数据集的协方差矩阵, $\sum^m{i=1} \left( x^{(i)} \right)^T x^{(i)}$ 是一个常量。最小化 $\sum^m_{i=1} | \hat{x}^{(i)} - x^{(i)} |^2_2$ 又可等价于
在这里插入图片描述

利用拉格朗日函数可得到
在这里插入图片描述

对 $W$ 求导,可得 $-XX^TW + \lambda W = 0$ ,也即 $XX^TW = \lambda W$ 。 $XX^T$ 是 $n^{'}$ 个特征向量组成的矩阵, $\lambda$ 为 $XX^T$ 的特征值。 $W$ 即为我们想要的矩阵。

对于原始数据,只需要 $z^{(i)} = W^TX^{(i)}$ ,就可把原始数据集降维到最小投影距离的 $n^{'}$ 维数
据集。

PCA算法流程总结

输入： $n$ 维样本集 $\left( x^{(1)},x^{(2)},...,x^{(m)} \right)$ ,目标降维的维数 $n^{'}$ 。
输出：降维后的新样本集 $\left( z^{(1)},z^{(2)},...,z^{(m)} \right)$ 。
主要步骤如下:

对所有的样本进行中心化, $x^{(i)} = x^{(i)} - \frac{1}{m} \sum^m_{j=1} x^{(j)}$ 。
计算样本的协方差矩阵 $XX^T$ 。
对协方差矩阵 $XX^T$ 进行特征值分解。
取出最大的 $n^{'}$ 个特征值对应的特征向量 ${ w_1,w_2,...,w_{n'} }$ 。
标准化特征向量,得到特征向量矩阵 $W$ 。
转化样本集中的每个样本 $z^{(i)} = W^T x^{(i)}$ 。
得到输出矩阵 $\left( z^{(1)},z^{(2)},...,z^{(n)} \right)$ 。
注 :在降维时,有时不明确目标维数,而是指定降维到的主成分比重阈值 $\epsilon(0,1])$ 。
假设 $n$ 个特征值为 $\lambda_1 \geqslant \lambda_2 \geqslant ... \geqslant \lambda_n$ ,
则 $n^{'}$ 可从 $\sum^{n'}{i=1} \lambda_i \geqslant k \times \sum^n{i=1} \lambda_i$ 得到。