目录
一,降维
1.1 简介
任何满足一定规律的样本集都有其内在的一致性与差异性,给定m个n维的数据样本,利用数据的内在一致性将数据映射至维度更低的空间中,并尽量保留其差异性的方法即称之为降维。作为无监督学习的一种,其不需要任何数据标签,只根据数据特征的内在联系来进行降维。
1.2 应用
降维算法主要有两种应用形式:数据压缩以及数据可视化。
数据压缩是指:通过降维算法来减少实际存储的文件数据量,从而减少计算机内存和磁盘空间的使用;同时其也能加快学习算法。
数据可视化是指:面对超过3维的事物,人是无法直观的理解的。通过数据降维将高维数据降到3维或以下可使得人能直观的去观察。不过这样则要求人自己去理解降维后新特征的含义。
二,主成分分析法
2.1 基
在线性代数中有个很重要的概念就是基(也称基底),是值向量空间中的一组方向向量,而向量空间中其他向量都可以由基中的方向向量线性表达。具体方法为选定一组基,空间中任何一个点(或向量)都可向基中的各个方向向量方向进行投影,投影的长度即为该点在该方向向量上的坐标,这样的坐标集合即为该点在指定基中的新坐标表达。在N维空间中选定N个线性无关的向量便可作为一组基。
设原向量坐标为,选定基为
,则在该基的表示下,原向量的新坐标为
,具体过程如下:
(公式 14.1)
(公式 14.2)
![](https://i-blog.csdnimg.cn/blog_migrate/0c46c49d7650174efe52684d33f31806.png)
如图14-1所示,同样是点x,在基为 和
时其坐标可表示为
;而当基为
和
时其坐标可表示为
。其过程如下:
2.2 PCA的直观描述
在了解完基的概念后可知选用不同的基可得到不同的数据表达,但如果只是更换基,则数据量并没有得到减少。而主成分分析法(Principal Component Analysis PCA)的主要思想为:在n维空间中找到k个空间向量,用数据在k个空间向量上投影来表达原数据,并使得数据的投影与原数据之间的差异要尽量小,而不同数据之间的差异尽量不变。这样就达到了见n维数据压缩到k维的目标。
设原n维数据为,现选定n维空间中的一组基,并求出其逆矩阵如下
(公式 14.3)
从中选择除k个方向向量与其逆矩阵中对应的K个向量用于映射,可得:
(公式 14.4)
可直观了将PCA理解为在一组基中选取部分方向向量来表达数据,要求在这部分方向向量的表达下对原数据信息保留最多。
![](https://i-blog.csdnimg.cn/blog_migrate/a17777f76e7de5a318785761304c8ccf.png)
如图14-2中数据而言,如果不经过数据压缩,则需要存储 共10个数。假设采用PCA算法并选择方向向量
为投影方向时,则需要存储方向向量
以及压缩后各个点的坐标
共计7个数,压缩了3个数,但信息完全没有减少。
虽然上述情况过于理想,但一般在具体工程中,可能会有多组人员使用不同的标准和检测方法对数据进行采集,采集到的数据之间会有冗余,通过PCA算法可以消除这种冗余。
2.3 特点
PCA算法的优点如下:
-
在选择投影的方向向量时,可选定一组基,事先计算出所有数据在各个方向向量上投影的损失值。根据损失值进行方向向量排序,最终选择损失值最小的k个方向向量做为投影向量。
-
PCA算法没有任何超参数限制,学习过程完全根据数据求解。
同时其缺点也很明显:
- 由于PCA没有超参数控制,则任何有关数据的先验知识都不能人为的加入到算法中,这使得算法不可控。
- 数据降维后新特征的具体含义不明确,需要人为发觉。
在运用具体的机器学习算法前,有人会使用PCA算法来进行数据降维。虽然能减少特征量加快计算,但由于PCA算法的不可控,有可能将一些有用的特征信息摒弃而留下一些不重要的特征,这将得不偿失。
三,原理推导
本节试图讲解PCA算法的内在原理,不感兴趣可以跳过。
3.1 两个前提
在具体进行PCA算法之前,有两个前提:
-
需要对数据进行均值归一化,使得各个数据特征的均值为0。
-
投影用的方向向量应该具有单位长度,即
。
3.2 优化目标
![](https://i-blog.csdnimg.cn/blog_migrate/e23e362301ad0cebb5d4c89c73703258.png)
假设原数据为 ,在方向向量上投影后数据为
,两者之间距离的平方可表示为:
(公式 14.5)
两者之间的距离可表示为投影后信息的损失。要使得信息损失最少 就需要使得
最小。设投影向量组成的投影矩阵为
,则投影后的数据样本的信息损失和表示为:
(公式 14.6)
因为由数据样本确定,要使得信息损失最小,则要使得:
最小。
设由数据样本集组成的样本矩阵X,可得损失函数如下:
(公式 14.7)
即优化目标为找到一个投影矩阵使得损失函数最小化。
3.3 求解
为求解损失函数(公式 14.7)的最优解,需要建立拉格朗日函数:
(公式 14.8)
为求极值,对(公式 14.8)求偏导并令偏导等于0,可得:
(公式 14.9.1)
(公式 14.9.2)
即可知投影矩阵中的向量,即为样本矩阵
的特征向量,而λ为其特征值。特殊的是投影矩阵
是正交矩阵,其逆矩阵就是其本身。
求解特征向量和特征值的算法这里再不赘述,可查找相关资料,也可之间使用相关的库函数求解。
3.4 再理解
了解一个数据的内部差异性可以用方差来进行刻画:
(公式 14.10.1)
而当数据的平均值 为0时,方差可化简为
(公式 14.10.2)
在概率论中协方差来刻画两个特征之间的相关性
(公式 14.11.1)
当数据X和Y的的平均值 均为0时,协方差可化简为
(公式 14.11.2)
现在取出数据样本中的两个特征维度, 两者之间的协方差为:
现在不妨再回顾一下损失函数(公式 14.7)
展开其中的项可得:
(公式 14.12)
即:实际上就是原样本集的协方差矩阵,其对角线上是各个特征的方差,非对角线上是 各特征两两之间的协方差。
最终求解出来的特征向量矩阵U,其实就是可将对角化的矩阵。而对角化的过程就是使得坐标变换后加大各个维度特征差异性,而减小不同维度之间相关性的过程。
特征值就是经过坐标变换后,数据在对应维度投影后的方差。于是我们可以按特征值的大小进行排序,选择较大特征值所对应的方向向量进行投影,从而达到数据降维后尽量保留原始信息的目标。
四,应用细节
4.1 具体应用过程
尽管没有理解算法的具体原理可能没有理解,但只要按部就班的使用便可到达效果,这也是算法的一个魅力所在。总结上述推导过程可得到PCA算法的具体步骤:
第一步,对元素数据样本的各个数据特征进行均值归一化:
第二步,计算数据的协方差矩阵
第三步,求解除协方差矩阵的特征向量组成的矩阵与特征值
第四步,选择前K个特征向量组成投影矩阵,将原数据在特征向量上投影
4.2 解压缩
了解压缩算法,一定要了解解压缩的过程。而PCA算法的解压缩过程非常简单:
(公式 14.13)
具体原理这里不细究,可联系逆矩阵的相关知识来学习。需要注意的是如果不是全部维度都进行利用,则PCA压缩是有损压缩,解压后对数据会有所丢失。
![](https://i-blog.csdnimg.cn/blog_migrate/742a5a1f636daa1c37e837665ef45160.png)
4.3 压缩维度的选择
在实际应用中具体需要压缩多少维有时要依据具体的任务需求而言,这里介绍一个选择标准,即运用PCA计算出特征值后,用特征值之和与选择出的k个方向向量所对应的特征之和的比值:
(公式 14.13)
t 为需要保留的信息比例,令 t = 0.99 即表示 选择 k个投影向量, 使得投影后原数据的信息保留 99%。
4.4 应用建议
在机器学习中一般会这样应用PCA算法:
-
使用PCA压缩数据特征维度。
-
使用学习算法训练。
-
在预测时,需要用由元素数据学习到的投影矩阵
将输入特征映射成指定维度的特征向量,再进行预测。
一种错误的观点是:用PCA来解决过拟合问题。前面提到过PCA算法有可能将一些有用的特征信息摒弃而留下一些不重要的特征,这将使得训练效果更差。过拟合还是用正则化来解决。
另一种错误观点是:将PCA当作训练模型的必要步骤。只有到必要时才能使用PCA来进行降维,否则得不偿失,原因同上。
五,总结
本章主要讲解了以下内容:
-
简介了降维的概念及其应用。
-
用一种直观的方法讲解了PCA算法。
-
详细推导了PCA算法的具体过程。
-
提及了一些PCA算法的应用细节。