深入理解PCA

最新推荐文章于 2024-04-26 09:55:35 发布
最新推荐文章于 2024-04-26 09:55:35 发布
阅读量6.7k 收藏 16
点赞数 5
分类专栏： 机器学习 文章标签： PCA 主成分分析法 直观理解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ice110956/article/details/14250745
版权


一些基本的理论


了解一些PCA的都知道,里面使用了协方差矩阵的特征分解.先介绍一些协方差与统计相关性,接着再引入具体的PCA方法.

 

方差:

在概率论和统计学中，一个随机变量的方差描述的是它的离散程度，也就是该变量离其期望值的距离。一个实随机变量的方差也称为它的二阶矩或二阶中心动差，恰巧也是它的二阶累积量。

某个变量的反差越大,不确定度越大,就信息论而言,其包含的信息越大.

 

协方差:

协方差（Covariance）在概率论统计学中用于衡量两个变量的总体误差。

 

期望值分别为与的两个实数随机变量X与Y之间的协方差定义为：

 

一个线性相关性度量指标:皮尔森相关系数,与协方差有很大关系(为其分子).


而皮尔森相关系数,又是自身标准化后的余弦距离

(具体可见另一篇blog: http://blog.csdn.net/ice110956/article/details/14143991).


回忆一下余弦定理:

也就是两个向量的夹角,夹角越大,方向相差越大,线性相关性越小.平行向量的夹角为0或180.

 

简单得做如下归纳,有不对的地方望指正:

协方差->皮尔森相关系数->余弦夹角.

 

简单用余弦夹角来解释协方差,就是说,协方差表征了两个向量的线性相关性.

如果两个变量线性相关,他们的夹角为0,余弦系数与协方差系数都为1,一个变量可以由另一个变量完全表示.用信息论的说法,就是其中一个的信息量为0,即冗余信息.

如果他们线性相关性很低,也就是夹角很大,协方差为0,两者没有相似信息,也就很少冗余信息.


具体到实践中,我们希望样本的每一维都是有用信息,都与其他维线性无关,也就少了冗余信息,也就是两两的协方差为0;那么就要用到下面的协方差矩阵.

 

协方差矩阵

在统计学概率论中，协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。

假设X是以n个随机变量组成的列向量

并且ui是其第i个元素的期望值，即。协方差矩阵被定义的第(i，j)项是如下：

 

上面需要注意的是

协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差，而不是不同样本之间的协方差，如元素(I,j)就是反映的随机变量Xi,Xj的协方差。

(这点在刚学习PCA的时候容易弄混了,以为是样本之间的协方差,其实是每一维之间的协方差)

 

协方差矩阵的对角元素是变量X自身的方差.

 


根据我们上面关于协方差,方差的知识,我们可以得出如下结论:

如果两个元素Xi,Xj的协方差项(I,j)=0,那么这两个变量线性无关.

如果对角元素(ii)为所有对角元素最大,那么对应的变量Xi所蕴含的信息最大.

 

那么,如果n个变量矩阵的协方差矩阵为对角矩阵,那么其所有变量两两间线性无关(没有冗余信息);并且,对角元素最大项的信息量最大.

 

OK,利用上面的知识,我们开始讨论PCA.


PCA理论说明


PCA的n个随机变量构成的的矩阵如下:


(注意,这里的n表示维数,不是样本数);

 

直观的目标:

我们想要寻找一个线性变换,使得变换后变量两两线性无关,能量集中到较少的几个变量中,并且按照大小重新排列.,变换后,我们可以相应地舍去后面几个能量小的分量,达到降维的目的.

 (关于PCA的其他直观的目标,我们再后面讨论)


上面的目标,我们用协方差矩阵来表征,就是寻找一个线性变换,使得其协方差矩阵为对角阵.

 

现在问题变为,如何寻找一个线性变换,使得投影后的协方差矩阵为对角阵.

关于线性变换与特征向量的进一步知识,可参考另一篇相关日志(http://blog.csdn.net/ice110956/article/details/14228013)

 

回忆矩阵的对角化方法,

求出其所有特征向量,组成线性变换矩阵即可.

 

对角化协方差矩阵,用到协方差矩阵E的特征向量矩阵,记为P.我们再用这个P变换X,得到Y

则有


在简单归纳上面推导:变换P使得协方差矩阵变为对角,也使得原矩阵X变换为Y后,Y的新协方差矩阵是对角阵

 

进一步的,我们通过构造P的特征向量的顺序,使得特征值大的排在前面.通过这种方法变换后,能量大的变量总在最前面.

当我们降维时,直接去掉排在后面的特征向量,生成低维的P即可.


小结:上面用协方差矩阵与相关性的角度,整理了PCA的基本原理.

 

PCA的直观理解


1.      斯坦福公开课上的理解:


上图我们可以看出,二维样本在u1方向上的方差最大(也就是能量最大,信息量最大),u2方向上的能量最少;

通过线性变换,我们可以用正交的u1,u2来重建坐标系,从而使方差集中在第一个分量上(u1方向)

如果要从二维降到一维,很明显的,投影到u1方向能够保留最多的信息,我们可舍去u2上的分量.


如下图,下面五个点要从二维投影到一维,选择两个不同的方向,得到不同的方差.依据我们上面阐述的方差与信息量的关系,第一个投影后更分散,也就是方差更大,也就是PCA的投影.

 

 

于是,这里的PCA直观理解归纳为:最大散度方向(方差)投影

 

2.      某篇文献上的理解:

 

 

三台摄像机记录弹簧小球的运动.三台相机为三个维度,并且这三个维度不是正交的.

我们以这三台相机的方向建立X1,X2,X3三个坐标轴,然后得到三维的数据.

 

依照物理学的知识我们知道,这个小球的运动用一个维度X就能记录.但是现在我们用了三个维度的相机.有许多噪声以及重复的,无用的信息在里面.

再次根据物理知识,小球在其原来的方向上,方差应该是最大的(信息量最大).极端的,假设一个相机沿着X轴,那么小球是静止的.

 

我们首先通过坐标变换,得到相互正交的三个方法(其中有一个是X),再选择方差最大的那个,降到一维,就得到了X轴,也就是PCA的效果.

 

这里的PCA概括为:信息的主方向投影去噪.

 

PCA的局限性


如下面这幅图:


如果我们想对这两块数据分类,那么1方向应该是最好的方向;但是PCA会选择2方向.

也就是PCA不具有鉴别特性.


针对PCA的非鉴别特性,相应地有LDA等,这里不再赘述.

ice110956
关注
  • 5
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pca.rar_pca
07-15
PCA（主成分分析，Principal Component Analysis）是一种广泛应用的数据降维技术，它通过线性变换将原始数据转换为一组各...通过学习和实践这个压缩包中的内容，我们可以深入理解PCA的原理和应用，提升数据处理能力。
PCA主成分分析原理的三种角度的理解
weixin_36174496的博客
07-12 1469
主成分分析算是降维算法中的一个经典算法了。网上也有很多博客介绍了这个算法。w 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import
PCA（主成份分析），计算物体旋转角度
Oniliste的专栏
10-18 1986
PCA的数学原理 OBJECT ORIENTATION, PRINCIPAL COMPONENT ANALYSIS & OPENCV
【图像去噪】 均值+中值+高通低通+巴特沃斯+PCA+小波+维纳滤波图像去噪（含PSNR）【含 GUI Matlab源码 1705期】
最新发布
Matlab912100926的博客
04-26 796
均值+中值+高通低通+巴特沃斯+PCA+小波+维纳滤波图像去噪（含PSNR） 完整代码，直接运行，适合小白！可提供运行操作视频！
协方差矩阵与PCA深入原理剖析
LINC
09-10 8859
一、协方差矩阵一个维度上方差的定义：协方差的定义：（a）协方差就是计算了两个维度之间的相关性，即这个样本的这两个维度之间有没有关系。协方差为0，证明这两个维度之间没有关系，协方差为正，两个正相关，为负则负相关。协方差矩阵的定义：对n个维度，任意两个维度都计算一个协方差，组成矩阵，定义如下直观的对于一个含有x,y,z三个维度的样本，协方差矩阵如下可以看出，对角线表示了样本在在各个维度上的方差。其他元...
主成分分析（PCA）
THEXEME的博客
02-10 770
主成分分析（PCA）　　 　先来回顾下向量的內积，假设存在两条发自原点的有向线段A和B，如下图所示 　　 　　设αα是两个向量之间的夹角，则向量的內积可以表示为 　　 　　此时假设向量B的模为1，则上面的式子可以表示为 　　 　　也就是说当向量B的模为1时，向量A与B的內积等于向量A在向量B上的投影的矢量长度（提醒：这个特性结合后面的基）　　 　　确定一个向量不能只是单单的靠该直线...
协方差矩阵的几何解释
houxiaogang05
08-01 2025
A geometric interpretation of the covariance matrix http://www.visiondummy.com/2014/04/geometric-interpretation-covariance-matrix/ 译文：http://demo.netfoucs.com/u010182633/article/details/45937051 转自：https://www.cnblogs.com/jins-note/p/10826272.html 介绍
PCA的原理及MATLAB实现
热门推荐
jiandanjinxin的专栏
01-28 2万+
相关文章PCA的原理及MATLAB实现UFLDL教程：Exercise:PCA in 2D & PCA and Whitening－－－－－－－－－－－－－－－－－－－－－－－－－－－－本文参考： http://blog.csdn.net/gwh111/article/details/11742735 http://www.mathworks.com/matlabcentral/newsread
协方差矩阵学习心得
Mike_69的博客
02-12 2284
协方差矩阵的物理意义主要分为对角阵和非对角阵来记录。 1.基础知识 一维数据中： 方差：描述数据的偏离程度，数值越大偏离越大 标准差：描述数据的聚散程度。数值越大散度越大，除以 N-1 二位数据中： 协方差：描述两个随机变量之间的相关性，随着X变大Y变大则为正相关，否则为负相关。cov=0则不相关。由此可知，xy独立一定不相关，但是xy不相关，不一定独立。在高斯过程中，不相关和独立是等价的，因此高斯情况下不相关的xy独立，可以将联合分布分开乘。 协方差矩阵中的每个量都是相同样本下不
PCA_pca_
10-04
在"PCA_pca_"这个主题中，我们可以深入探讨PCA的核心概念、计算步骤以及在实际应用中的具体操作。 1. **核心概念**： - **主成分**：主成分是原始变量的新组合，它们是相互正交的，并按照方差大小排序。第一主成分...
PCA.rar_pca
09-19
通过阅读这些文件，我们可以深入理解PCA算法的具体实现细节，以及如何应用到实际问题中。 PCA在很多领域都有应用，如图像处理、信号处理、生物信息学、金融等领域。例如，在高维图像处理中，PCA可用于降低图像的...
pca9539.zip
01-07
PCA9539是一款由NXP（原飞利浦）公司生产的I²C接口...分析并理解这个文件，对于开发者来说，是深入学习PCA9539驱动编程的关键步骤。在实际应用中，开发者可能需要根据具体的嵌入式平台和系统需求对其进行定制和优化。
pca各个向量之间的相关度_浅谈对主成分分析（PCA）算法的理解
weixin_39625098的博客
01-17 799
以前对PCA算法有过一段时间的研究，但没整理成文章，最近项目又打算用到PCA算法，故趁热打铁整理下PCA算法的知识。本文观点旨在抛砖引玉，不是权威，更不能尽信，只是本人的一点体会。主成分分析(PCA)是多元统计分析中用来分析数据的一种方法，它是用一种较少数量的特征对样本进行描述以达到降低特征空间维数的方法，它的本质实际上是K-L变换。PCA方法最著名的应用应该是在人脸识别中特征提取及数据维，我们知...
正交变换之PCA原理
sibiantai555的博客
05-21 5845
正交变换的牛逼的之处  能量和关系不变（长度和角度）嗯哼哼  所以正交变换能用来做什么呢降维what怎么降维嗯哼哼 先来看看其对角化后组成的方阵由特征值构成的而特征值是代表其只是进行伸缩变换因此我们可以将特征值进行排序 而忽略小的特征值对其伸缩的影响就是我们说的降维嗯哼 这是损失了一定数据 称为有损压缩第二种是无损压缩我们知道空间变换就是选择不同的基而在新基下，数据有新的坐标表示而我们可以通过将一...
主成分分析 PCA 理解
NaNaLab的专栏
04-27 997
目前，pca算法已经广泛应用于各方面，就那图像处理来说，经常做的一件事就是当提取的图像特征维数比较高时，为了简化计算量及节省存储空间，需要对这些高维数据进行一定程度上的降维，并尽量保证数据的不失真。 先举个例子，方便理解： 1）对于一个训练集，20个sample(i=1,2,3,...,20)，特征Xi是100维[Xi1,Xi2,Xi3,...Xij,...,Xi100](j=1,2,..,1
特征向量物理意义（PCA）----转帖
西西弗的石头
07-02 8846
<br />什么是特征向量，特征值，矩阵分解<br /><br />[1. 特征的数学意义]<br />        我们先考察一种线性变化，例如x,y坐标系的椭圆方程可以写为x^2/a^2+y^2/b^2=1，那么坐标系关于原点做旋转以后，椭圆方程就要发生变换。我们可以把原坐标系的(x,y)乘以一个矩阵，得到一个新的(x',y')的表示形式，写为算子的形式就是(x,y)*M=(x',y')。这里的矩阵M代表一种线性变换：拉伸，平移，旋转。那么，有没有什么样的线性变换b(b是一个向量)，使得变换后的结果，
基于主成分变换(PCA)的图像融合
Dandelion_2的博客
07-22 2万+
参考资料：https://blog.csdn.net/u013165921/article/details/78339942 基于 IHS 变换和主成分分析变换的图像融合 PCA变换 PCA变换也称霍特林变换或K-L变换,是一种基于信息量的正交线性变换，该变换主要是采用线性投影的方法将数据投影到新的坐标空间中，从而使得新的成分按信息量分布,第一主成分包含的信息量最大，变换后各主成分分量彼此不相关，...
ENVI图像处理（4）：主分量变换（主成分分析、PCA）
lzx的博客
05-17 1万+
PCAPCA主成分分析基本概念协方差矩阵特征值和特征向量PCA思想优缺点PCA基本步骤PCA-code（python）ENVI的PCA操作 PCA主成分分析 特征变换的目的在于使地物集中在几个主要的波谱段上，在保证信息容量最大化的前提下压缩参与分类的数据量，以提高分类速度。 此处主要介绍主分量变换，也叫做主成分分析（Principal component analysis，PCA） 基本概念 首先来介绍一些基本概念 协方差矩阵 方差：针对一维集合，反映了其离散程度。是协方差的一种特殊情况 协方差矩阵：针对
图像处理中的数学原理具体解释20——主成分变换（PCA）
weixin_34365417的博客
06-12 325
欢迎关注我的博客专栏“图像处理中的数学原理具体解释”全文文件夹请见 图像处理中的数学原理具体解释（总纲）http://blog.csdn.net/baimafujinji/article/details/48467225阅读本文须要最主要的线性代数知识和概率论基础：）6.4.2 主成分变换的推导前面提到的一国经济增长与城市化水平关系的问题是典型二维问题，而协方差也仅仅能处理二维问题。那维数多了...
结合python代码深入讲讲pca主成分分析
08-30
### 回答1： PCA（主成分分析）是一种统计学分析技术，用于从原始数据中提取最重要的信息，从而减少数据的复杂性。它可以通过分析数据的特征和相关性，来减少维度数量，从而提高数据处理的效率。使用Python代码，可以将原始数据转换为一组有意义的变量，这些变量可以帮助我们更好地理解数据的结构和内在规律。此外，PCA还可以帮助我们找出数据中最重要的信息，从而提高分析的准确性和可信度。 ### 回答2： PCA（Principal Component Analysis）主成分分析是一种常用的降维算法，可以将高维数据集转换为低维表示，在保留数据信息的同时，减少了数据的维度。 在Python中，我们可以使用scikit-learn库来进行PCA主成分分析。首先，我们需要导入PCA模块： ``` from sklearn.decomposition import PCA ``` 然后，创建一个PCA对象，并设置需要保留的主成分数量： ``` pca = PCA(n_components=k) ``` 其中，k代表希望保留的主成分的个数。 接下来，我们需要将原始数据集X传递给PCA对象进行拟合和转换： ``` pca.fit(X) X_pca = pca.transform(X) ``` 这里，fit()方法用于拟合PCA模型，transform()方法用于将原始数据集转换为低维表示的数据集。 完成PCA转换后，我们可以通过explained_variance_ratio_属性来查看每个主成分所占的方差比例： ``` explained_variance_ratio = pca.explained_variance_ratio_ ``` 这个属性返回一个数组，表示每个主成分所解释的方差占比。 另外，我们还可以通过components_属性来获取每个主成分的系数向量： ``` components = pca.components_ ``` 这里，components_属性返回一个矩阵，每一行代表一个主成分的系数向量。 通过PCA主成分分析，我们可以更好地理解和可视化高维数据集。主成分分析通过减少数据的维度，并保留了大部分的信息，使得我们能够更好地进行数据分析和模型建立。 ### 回答3： PCA（Principal Component Analysis）主成分分析是一种常用的降维方法，可以用于数据可视化、数据压缩和去噪等任务中。在Python中，我们可以使用sklearn库中的PCA模块来进行主成分分析。 首先，我们需要导入相应的库和数据。假设我们有一个具有m行n列的数据集X，其中m为样本数，n为特征数。 ```python import numpy as np from sklearn.decomposition import PCA # 导入数据 X = np.array([[x1, x2, x3, ... , xn], [x1, x2, x3, ... , xn], ... [x1, x2, x3, ... , xn]]) ``` 接下来，我们可以使用PCA类来进行主成分分析。 ```python # 创建PCA类对象 pca = PCA(n_components=k) # 这里k是我们要保留的主成分数量 # 执行主成分分析 pca.fit(X) # 获得降维后的数据集 X_pca = pca.transform(X) # 获得降维后的特征向量（主成分） components = pca.components_ # 获得方差的解释比例 explained_variance_ratio = pca.explained_variance_ratio_ ``` 在上述代码中，我们创建了一个PCA对象，并指定了要保留的主成分数量k。然后，我们使用fit方法对数据进行主成分分析，并使用transform方法将数据转化为降维后的结果X_pca。 接下来，我们可以通过components属性获得降维后的特征向量（主成分），通过explained_variance_ratio属性获得每个主成分所能解释的方差比例。这些信息可以帮助我们了解数据的特征，并决定保留多少个主成分。 最后，我们可以使用降维后的数据集X_pca进行后续的分析，如可视化或建模等。 总结一下，PCA主成分分析是一种常用的降维方法，可以使用sklearn库中的PCA模块进行实现。它的核心思想是通过线性变换将高维数据映射到低维空间，保留最具有代表性的特征。在使用时，我们可以指定要保留的主成分数量，并通过解释比例和特征向量等信息来评估降维效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值