表示学习(Representation Learning)(二)——主成分分析、典型相关分析

最新推荐文章于 2022-01-19 16:14:27 发布

weixin_41635741

最新推荐文章于 2022-01-19 16:14:27 发布

阅读量1.1k

点赞数

文章标签： python sklearn 算法机器学习

本文链接：https://blog.csdn.net/weixin_41635741/article/details/122052917

版权

主成分分析

1.概要

主成分分析法由Karl Pearson 在 1903 提出，经由Harold Hotelling 在 20世纪三十年代从另一个角度进行了完善，是一种适用于高维数据，探索性数据分析的方法，作为最早一批被应用于模式识别、机器学习模型的算法之一，其现在经过实现数据压缩降维、特征提取而广泛应用于力学、信号处理、质量控制、心理学等许多领域。

2.算法思想

简单一句话来说的话：找到一组组正交化的投影（一次线性变化-linear transformation），使得原空间的数据在新的投影空间中的数据方差最大，也即尽可能使投影结果分散。而如何去找到这样的一个线性变化呢？这时候不得不说数学家们的想法是真的难以想象。

假设有这样一组n个样本的数据，每个样本有d个特征X ={ $x_1{},x_2{},x_3{}...x_n{}$ },我们对数据样本进行中心化(Data centralisation)

$x_n{}-m, n=1,2,3...n$ 其中m为所有样本的中心。

接着为了找到第一主成分的投影 u 使得该投影空间下数据的方差最大,

令 $z=(x_n{}-m)^T{}u$ ，则样本空间的方差D可以表示为：

$D(z)=\frac{1}{N-1}\sum_{n=1}^n{} (z_n{}-m)^2{}$

此处m为新样本的中心，由于原数据进行了中心化，易得：

$m=\frac{1}{N}\sum_{n=1}^N{} z_n{}=0$

则

$D(z)=\frac{1}{N-1}\sum_{n=1}^n{} z_n{}^2 =\frac{1}{N-1}\sum_{n=1}^n{} z_n{}^T{}z_n{}= \frac{1}{N-1}\sum_{n=1}^n{} ((x_n{}-m)^Tu)^T{}((x_n{}-m)^Tu)=u^T(\frac{1}{N-1}\sum_{n=1}^n(x_n{}-m)(x_n{}-m)^T)u=u^TSu$

其中不难 $S=\frac{1}{N-1}\sum_{n=1}^n(x_n{}-m)(x_n{}-m)^T$ 发现为原空间数据X的斜方差矩阵，这里使得投影向量的长度 $\left | \left | x \right | \right | = \sqrt{u^Tu}=1$ .问题变转化成了求函数：

f(u;X)=u^TSu

求最值问题。接着借助拉格朗日乘子法我们可以将上述函数转化成如下形式：

$L(u,\lambda ;X)=u^TSu+\lambda(1-u^Tu)$

，

对u求偏导易得：

2Su − 2λu = 0 也即Su= λu

这时我们

最低0.47元/天解锁文章

weixin_41635741

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
表示学习(Representation Learning)(二)——主成分分析、典型相关分析

主成分分析1.概要主成分分析法由Karl Pearson 在1903 提出，经由Harold Hotelling 在20世纪三十年代从另一个角度进行了完善，是一种适用于高维数据，探索性数据分析的方法，作为最早一批被应用于模式识别、机器学习模型的算法之一，其现在经过实现数据压缩降维、特征提取而广泛应用于力学、信号处理、质量控制、心理学等许多领域。2.算法思想简单一句话来说的话：找到一组组正交化的投影（一次线性变化-linear transfo...
复制链接

扫一扫