直观理解主成份分析法之PCA

最新推荐文章于 2024-10-30 16:47:45 发布
最新推荐文章于 2024-10-30 16:47:45 发布
阅读量406 收藏 1
点赞数
文章标签： 算法 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wo_renshen/article/details/112160036
版权

1. 什么是PCA

PCA(principal component analysis) ，主成份分析，顾名思义，分析数据主要成份。它是通过用其它维度的来表示数据，这些维度有一个特点，就是每个维度捕捉到原始数据的信息是逐步降低的，同时这些维度相互独立。可作为是一种降维技巧，在尽可能地保留数据信息的情况，降低数据维度，同时让各维度之间不相关。降低维度好处很多，比如在算法计算中，可减少计算量，提高模型运算速度。不相关可减少分析难度

2.PCA的公式推导

在PCA定义中，我们提到一个很关键的字，信息，同时要求尽可能多地包含原数据的信息，因此我们需要找一种方式把数据信息量化。量化方式很多，比如方差，协方差，信息熵，gini系数等。但是他们不同的性质导致适用场景也不同，比如熵的公式为 -\sum\(P*log(P))，P为概率。可理解为求log(p)的负平均值，它关注是个体，因此它更加适用于去衡量每个值被选中概率情况，同时也可以用来衡量一个事件发生概率所能提高信息。方差更多关注是整体的分布情况，协方差关注是个体与个体之间关系。因此在PCA公式设计使用了方差和协方差。

一.主成份分析法直观理解

我们知道数据可以放在多维坐标轴空间中，列如

x1x2
-34
55
62

表格数据放在坐标轴如下

 

因此主成份分析法另外一种理解是：对数据进行正交变换，具体操作就是对原坐标轴进行旋转变换，并用变换得到的新坐标轴表示原数据。这些新坐标轴就是主成份。如下：很明显主要是沿着y1着分布的，y1轴代替x1，作为新的特征。

那y1 和 y2该如何旋转呢？或者如何求解呢？ 

根据‘尽可能多地包含原始数据信息’的条件，和用方差量化信息。我们可把Y求解条件转化为找到Y1轴，数据在该轴上的映射分布的方差最大。如下图，A1，B1，C1分别A，B，C在Y1轴上映射。标准化（方差1，均值为0）后的原始数据的方差表达为AO^2 +BO^2 +CO^2，映射到Y1轴后方差为A_1O^2 +B_1O^2 +C_1O^2，要想使A_1O^2 +B_1O^2 +C_1O^2更大，则AA_1^2 +BB_1^2 + CC_1^2更小（三角关系）。等价地，主成分分析在旋转变换中选取离样本点的距离平方和最小的轴，作为第一主成分。

注意这是使用的是标准化，不是归一化，归一化的均值不一定为零，导致方差不能通过AO^2 +BO^2 +CO^2计算。

 

 

二.转换为数学语言

Y写成X函数

y_i =a_1*x_1 +a_2*x_2 + ... + a_i*x_i

(1). 因为标准化，所以A_1O^2+AA_1^2 = AO^2 =1

所以系数向量a_i是单位向量，即a_i^T*a_i = 1，根据单位向量的定义x^2+y^2 =1

(2) 因为要求新的主成份之间线性不相关，所以

cov(y_i,y_j) = a_i \sum\ a_j = 0   

\sum  是协方差

(3) 方差最大化

max(var(y_i)) = max( a_i \sum\ a_i )

看到上面约束条件，想求解a_i, 我们首先想到应该是拉格朗日乘子法

三.拉格朗日乘子法求出主成份

拉格朗日乘数法直观理解

求解f(x,y) =d_1的最大值, 约束条件为g(x,y)=c

图中虚线部分是等高线，该等高线与高中地理中等高线含义是相同的，在等高线上各点的函数值相等。该题求解，我们可以想象一下。一条绳，一个山坡。找到点，这些点在绳上，也在坡上，同时是能达到的坡最高。这样点有且只有一个，绳与坡相切点。

preview

f(x,y)与g(x,y)相切，则在切点处的梯度方向共线，即\Delta f =\lambda \Delta g 所以

可变形为

所以

 

了解拉格朗日乘子法后，PCA推导就相当容易多了，直接套公式。

max( a_1 \sum\ a_1 )   约束条件 a_1^T*a_1= 1

定义拉格朗日函数：

求导，并令其等于求得

所以

\sum a_1 = \lambda a_1

看着是不是很像函数特征值和特征向量求解函数，是的，没看错，参考公式如下

所以主成份是协方差\sum 的特征向量。

 

Archimedes的杠杆
关注
基于C++实现的主成分分析法（PCA）和K-NN聚类算法：完整过程和实例
m0_57781768的博客
06-14 768
主成分分析法（Principal Component Analysis，PCA）是一种常用的数据降维技术。它通过线性变换将原始数据映射到新的坐标系中，使得数据在新坐标系中的投影方差最大，从而实现降维和特征提取。K-近邻（K-Nearest Neighbors，K-NN）算法是一种简单的分类和聚类算法。它通过计算样本之间的距离，找到距离待分类样本最近的k个邻居，然后根据这些邻居的类别决定待分类样本的类别。K-NN算法具有简单、直观、无需训练等优点，但计算效率较低，适用于小规模数据集。
主成份分析（PCA）——原理、实现步骤
07-18 6483
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。本文主要分为两大部分： 第一部分：PCA原理的主要内容。 第二部分：给出PCA程序实现步骤。 第三部分：程序详解。 一、原理 参考： http://blog.csdn.net/
主成分分析(PCA)原理及推导
热门推荐
学无常师，负笈不远险阻
12-30 9万+
在数据挖掘或者图像处理等领域经常会用到主成分分析，这样做的好处是使要分析的数据的维度降低了，但是数据的主要信息还能保留下来，并且，这些变换后的维两两不相关！至于为什么？那就接着往下看。在本文中，将会很详细的解答这些问题：PCA、SVD、特征值、奇异值、特征向量这些关键词是怎么联系到一起的？又是如何在一个矩阵上体现出来？它们如何决定着一个矩阵的性质？能不能用一种直观又容易理解的方式描述出来？
多元统计分析——聚类分析——K-均值聚类应用场景
huangguohui_123的博客
08-16 6158
在《多元统计分析——聚类分析——K-均值聚类（K-中值、K-众数）》当中，我们理解了K-均值聚类的原理，也简单的介绍了K-均值聚类的两个应用场景： 发现异常情况：如果不对数据进行任何形式的转换，只是经过中心标准化或级差标准化就进行快速聚类，会根据数据分布特征得到聚类结果。这种聚类会将极端数据单独聚为几类。这种方法适用于统计分析之前的异常值剔除，对异常行为的挖掘，比如监控银行账户是否有洗钱行为、监控POS机是有从事套现、监控某个终端是否是电话卡养卡客户等等。 将个案数据做划分：出于客户细分目的的聚类分析一
直观讲解PCA原理
我的blog屋
04-09 779
PCA的原理 我们现在来看一下PCA算法是如何实现的，我们通过一个具体实例来理解，假设我们有这样一些标准化后的数据：[-1,-2],[-1,0],……,[2,1],[0,1]。我们写成向量的形式如下： 我们还可以在二维坐标系中画出来： **PCA主要的目的是降维简化数据，这些数据本就是二维，想要再降维则需要重新找一个方向，并把这些点映射到这个方向上（降到1维）。**试想，怎么才能找到这个方向，...
pca 主成分分析_六分钟的主成分分析（PCA）的直观说明。
weixin_26752765的博客
09-05 1095
主成分分析pcaPrinciple Component Analysis (PCA) is arguably a very difficult-to-understand topic for beginners in machine learning. Here, I will try my best to intuitively explain what it is, how the algor...
主成分分析法
weixin_51711289的博客
05-08 5万+
定义 主成分分析是一种降维算法，它能将多个指标转换为少数几个主成分，这些主成分是原始变量的线性组合，且彼此之间互不相关，其能反映出原始数据的大部分信息。一般来说，当研究的问题涉及到多变量且变量之间存在很强的相关性时，我们可考虑使用主成分分析的方法来对数据进行简化。 数据降维的作用 降维是将高维度的数据（指标太多）保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生产和应用中，降维在一定的信息损失范围内，可以为我们节省大量的时间和成本。降维也成为应用非常广泛的数据预处理方
数据归约——主成分分析PCA
weixin_56631477的博客
11-12 2440
人们希望用较少的变量来代替原来较多的变量，这种代替可以反映原来多个变量的大部分信息，这实际上是一种“降维”的思想。一般要求所选主成分的方差总和占全部方差的80%以上，一般来说，主成分的累计方差贡献率达到80%以上的前几个主成分，都可以选作最后的主成分。（6）根据主成分分析模型和主成分载荷，可以得到主成分与原来变量之间的线性组合表达式。：如果第一个主成分不足以代表原来的变量，在考虑选择第二个主成分，依次类推。（3）确定主成分：特征值越大，则对应的特征向量表示的主成分的方差越大。
机器学习 - 主成分分析法 (PCA)
欢迎
09-30 1万+
在**PCA**中，要做的是找到一个方向向量（**Vector direction**），当把所有的数据都投射到该向量上时，希望投射平均均方误差能尽可能地小。方向向量是一个经过原点的向量，而投射误差是从特征向量向该方向向量作垂线的长度。问题是要将$n$维数据降至$k$维，目标是找到向量$u^{(1)}$,$u^{(2)}$,...,$u^{(k)}$使得总的投射误差最小。主成分分析与线性回顾的比较：
matlab 实现主成分分析（PCA）
06-04
主成分分析（PCA）是一种广泛应用于数据分析和机器学习领域的统计方法，主要目的是通过线性变换将高维数据转换为低维表示，同时保留原始数据的主要特征。PCA通过对数据进行正交变换，找到新的坐标轴（主成分），这些...
主成分分析法PCA.docx
07-10
"主成分分析法PCA" 主成分分析（Principal Component Analysis，PCA）是一种统计方法，通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 PCA 的主要用途是多维数据...
理解主成分分析法
06-26
主成分分析法 (PCA) 是一种常用的数据分析手段。对于一组不同维度 之间可能存在线性相关关系的数据，PCA 能够把这组数据通过正交变换变 成各个维度之间线性无关的数据。经过 PCA 处理的数据中的各个样本之间 的关系...
PCA.zip_PCA matlab_主成分分析_主成分分析法
09-24
**PCA（主成分分析）**是一种广泛应用于数据分析和降维的技术，主要目的是将高维度的数据集转换成一组线性不相关的低维度特征，同时保留原始数据集中的大部分信息。PCA在许多领域，如机器学习、图像处理、生物信息学...
PCA （主成分分析）详解 （写给初学者） 结合matlab
saishangxue123的专栏
01-19 2万+
本文转自：http://hi.baidu.com/ifengzh/item/8851b6387aebefc4382ffa60 PCA （主成分分析）详解 （写给初学者） 结合matlab 一、简介         PCA（Principal Components Analysis）即主成分分析，是图像处理中经常用到的降维方法，大家知道，我们在处理有关数字图像处理方面的问题
机器学习——PCA降维（我至今为止遇见的最好的博文）
邹小驴
09-07 5万+
参考文章：https://zhuanlan.zhihu.com/p/77151308 PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 PCA 的数学推导可以从最大可分型和最大重构性两方面进行，前者的优化条件为划分后方差最大，后者的优化条件为点到划分平面距离最小。由于基于最大重构性的 PCA 其与...
机器学习 之PCA(主成分分析)与拉格朗日乘子
HeroIsUseless的博客
10-30 1611
PCA能做的事其实很有限，那就是：降维。为什要降维呢？很明显，数据中有些内容没有价值，这些内容的存在会影响算法的性能，和准确性。 看这两个图，就说明了降维的意义，越降维，维度就会越有意义。这样只取x2的值(投影)，就从二维降维到了一维。主成分分析可以让数据的投影到那些数据分布尽可能分散(信息最大)的平面上，比如上图的y1，从而忽视y2的作用，进而达到降维的目的。 说是降维，实际上就是坐标变换+去掉一些坐标，降维函数实际上一个WWW就可以了。 我们说数据尽可能分散(信息最大化)，体现在矩阵上就是方差很大，
主成分分析
xiaoyu714543065的专栏
08-05 2万+
问题：假设在IR中我们建立的文档-词项矩阵中，有两个词项为“learn”和“study”，在传统的向量空间模型中，认为两者独立。然而从语义的角度来讲，两者是相似的，而且两者出现频率也类似，是不是可以合成为一个特征呢？        《模型选择和规则化》谈到的特征选择的问题，就是要剔除的特征主要是和类标签无关的特征。比如“学生的名字”就和他的“成绩”无关，使用的是互信息的方法。        而
主成分分析（PCA）算法的简单推导和实例
weixin_37824397的博客
03-10 2万+
问题1：为什么要降维？    我们在处理实际问题的时候，进行特征提取过程中，提取的特征维数太多经常会导致特征匹配时过于复杂，消耗计算资源。   问题2：降维的方法有哪些？ 特征降维一般分为两类：特征提取和特征抽取。特征选择就是简单的从高纬度的特征中选择其中一个子集来作为新的特征。特征抽取是将高纬度的特征经过一些函数映射到低纬度，将其作为新的特征。 我们常见的分析方法包括有因子分析和主成分
数对的最大曼哈顿距离[ABC178E] Dist Max
最新发布
2301_80882026的博客
10-30 500
/曼哈顿距离化简绝对值之后最终可以化简为两种取最大的即可PII p[N];cin >> n;i <= n;
什么是pca主成分分析
05-04
PCA（Principal Component Analysis）主成分分析是一种常用的数据降维方法，可以将高维度数据降维到更低的维度，同时尽可能地保留原始数据的信息。PCA的基本思想是将多维数据降到少数几个维度上，而这些维度是原始数据中最具有代表性的维度。这些维度称为主成分，是原始数据中方差最大的方向。通过主成分的提取，我们可以去掉一些冗余信息，压缩数据，同时保留原始数据的主要特征。PCA主要应用于数据挖掘、模式识别、数据压缩等领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值