终于明白PCA降维的数学原理了

已于 2024-05-19 15:20:15 修改
阅读量3.8k 收藏 21
点赞数 3
分类专栏： 机器学习 知识点理解 大厂算法岗求职攻略 文章标签： 机器学习 降维 PCA
于 2021-12-05 22:58:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43827595/article/details/121734056
版权
PCA（主成分分析）是经典的降维方法，通过最大化方差来保留关键信息。本文深入探讨PCA的数学原理，包括最大可分性、基变换、协方差和特征值分解等概念，解释如何从高维降到低维同时减少信息损失。PCA的目标是找到一组正交基，使数据变换后的方差最大且不同维度间协方差为0。PCA算法步骤包括零均值化、计算协方差矩阵、特征值分解或SVD。此外，文章还介绍了PCA在面试中的常见问题及实战应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

PCA降维逻辑梳理 Notion

PCA降维原理

一、相关资料

本文主要参考了PCA的数学原理 ，除此之外加上了自己的一些理解和笔记，以及PCA代码实战。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
知识：PCA降维
weixin_44340277的博客
02-18 2872
参考了两篇关于PCA的帖子： CodingLabs - PCA的数学原理 【机器学习】降维——PCA（非常详细） - 知乎 里面讲的比较详细，我只做个小简化 PCA（Principal Component Analysis）：用于高维数据的降维，可用于提取数据的主要特征分量 这里需要一些数学的基础知识： 1. 内积和投影 设 A=(x1,y1)，B=(x2,y2)，那么A·B = x1*x2 + y1*y2 =|A|*|B|*cos(α)（α...
PCA降维原理及sklearn代码实现
Y_hero的博客
03-08 5791
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。本文从实际问题代入探索PCA,尽量避免纯数学的推导，更简单明了地讲解PCA原理。 1.数据的向量表示及降维问题的产生 一般情况下，在数据挖掘和机器学习中，数据被表示为向量来进行处理，就拿我近期做的...
PCA降维(公式推导)
TH_NUM的博客
05-09 1268
PCA PCA线性投影降维的方法。当维度p高，样本少。 p>> N , S=1NXXT S= \frac{1}{N}XX^T S=N1​XXT 因为 xn是Rp×1x_n 是 R^{p \times 1}xn​是Rp×1 所以Rank(xnxnT)≤1Rank(x_nx_n^T) \leq 1Rank(xn​xnT​)≤1 所以 Rank(S)≤NRank(S) \leq NRank(S)≤N 这种情况下，矩阵运算的复杂度O(p3)O(p^3)O(p3)，浪费了很多的时间，得到了很多是0的矩阵。
PCA降维的数学理解与举例
虚宇宸轩
02-16 811
PCA(Principle Component Analysis 主成分分析)是深度学习中最常用的降维算法。本文将通过最基础的线性代数知识对PCA算法进行解释。 0. 为什么要进行降维&降维的目标&降维的原则 0.1 为什么要进行降维 在深度学习中，需要对大量的样本数据进行处理，而每个样本会包含很多特征（即维度），这样在进行各种运算和训练时无疑会消耗大量的内存和时间，所以我们希...
最详细的降维方法PCA的数学原理
weixin_43204128的博客
05-26 536
https://www.cnblogs.com/mikewolf2002/p/3429711.html
PCA实现降维
weixin_41857483的博客
11-10 7897
0. 前言 上篇博客通过举例说明了降维如何实现，下面将学习PCA这种降维算法。 1. PCA介绍
PCA数学原理
05-18
自己整理的PCA的数学原理。具备线代和概率基础的人应该能够很容易看懂。里面对于数学基础的讲解很是明白。
机器学习DAY6：主成分分析和PCA降维（完）
最新发布
feifeikon的博客
12-30 902
本文主要围绕无监督学习算法进行的，主要涉及到 PCA 降维方法，并会使用 PCA 来对数据进行降维。
特征工程之特征选择(6)----降维算法PCA初探
weixin_43776305的博客
06-07 1092
文章目录维度的概念降维的目的：PCA 的信息衡量指标----可解释性方差降维过程简述降维算法与前面的特征选择算法的区别sklaern中的降维算法示例导入相关库提取特征和标签降维探索降维后的数据总结 维度的概念 对于ndarray对象和series对象，shape返回的数据中有几个数据就是几维 对于dataframe对象，列数就是维度数，即维度=shape[1] 降维算法的降维指的是，降低特征矩阵中的特征的数量 降维的目的： 让算法运算更快，效果更好 高维数据可视化 PCA 的信息衡量指标----可解释性
秒懂数据降维——主成分分析PCA
gjinc的博客
06-20 5487
主成分分析（Principal Component Analysis，简称 PCA）是一种常用的数据降维方法，旨在通过将高维数据投影到低维空间中的主要方向来捕获数据的本质结构。主成分分析可用于降低数据的维度，压缩图像、音频和视频数据，去除冗余信息等。
机器学习：对数据进行降维（PCA和SVD）
纸上得来终觉浅
09-06 2373
对数据进行降维（PCA和SVD）
数据归约——主成分分析PCA
weixin_56631477的博客
11-12 2698
人们希望用较少的变量来代替原来较多的变量，这种代替可以反映原来多个变量的大部分信息，这实际上是一种“降维”的思想。一般要求所选主成分的方差总和占全部方差的80%以上，一般来说，主成分的累计方差贡献率达到80%以上的前几个主成分，都可以选作最后的主成分。（6）根据主成分分析模型和主成分载荷，可以得到主成分与原来变量之间的线性组合表达式。：如果第一个主成分不足以代表原来的变量，在考虑选择第二个主成分，依次类推。（3）确定主成分：特征值越大，则对应的特征向量表示的主成分的方差越大。
深入理解主成分分析(PCA)
Blogs of zcy1221
01-30 2542
本篇文章将从三个部分：降维法、最大方差、最小均方误差，分别介绍 PCA 的详细推导过程，帮助读者进一步理解主成分分析.
深入理解主成分分析 (PCA) 及其广泛应用
weixin_51524504的博客
08-22 2386
PCA 在多种实际场景中表现出色。例如，在图像压缩中，PCA 通过提取最主要的特征来减少图像数据的存储需求；在噪声过滤中，通过去除低方差主成分，PCA 能有效减少数据中的噪声。
数据降维——PCA
loser_k的博客
04-28 4014
1. 纬度   纬度是数据集中特征的数量。 2. 降维   降维是对给定数据集进行（特征）降维的过程。也就是说，如果数据集有100列/特性，并将列数减少到了20-25列。 2.1 降维的好处   随着特征数量的增加，数据点的数量也会成比例地增加。即越多的特征会带来更多的数据样本，模型的性能会提升。当数据纬度过大时，会造成“纬度灾难”，导致模型的性能降低。因此应当对数据进行降维处理，使模型性能达到最优。 它有助于消除冗余的特征和噪声误差因素，最终增强给定数据集的可视化。 纬度的降低，内存管理更加优秀。 通过
主成分分析（Principal components analysis）-最大方差解释
alaclp的专栏
08-25 2052
在这一篇之前的内容是《Factor Analysis》，由于非常理论，打算学完整个课程后再写。在写这篇之前，我阅读了PCA、SVD和LDA。这几个模型相近，却都有自己的特点。本篇打算先介绍PCA，至于他们之间的关系，只能是边学边体会了。PCA以前也叫做Principal factor analysis。 1. 问题 真实的训练数据总是存在各种各样的问题： 1、 比如拿到一个汽车的样本，里面既
主成分分析
热门推荐
xiaoyu714543065的专栏
08-05 2万+
问题：假设在IR中我们建立的文档-词项矩阵中，有两个词项为“learn”和“study”，在传统的向量空间模型中，认为两者独立。然而从语义的角度来讲，两者是相似的，而且两者出现频率也类似，是不是可以合成为一个特征呢？        《模型选择和规则化》谈到的特征选择的问题，就是要剔除的特征主要是和类标签无关的特征。比如“学生的名字”就和他的“成绩”无关，使用的是互信息的方法。        而
PCA的数学原理
wxing2008666的专栏
06-28 6615
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。 当然我并不打算把文章写成纯数
PCA均方误差(MSE)最小化和方差最大化的推导
蛋总的快乐生活
11-27 6437
部分参考[https://zhuanlan.zhihu.com/p/77151308]，结合自己的一些理解和统计学习方法，补充了一些推导过程) 一、方差的定义 ​ ​ Var(x)=1m∑i=1m(xi−μ)2 \begin{aligned} Var(x)=\frac{1}{m}\sum_{i=1}^m{(x_i-\mu)^2} \\ \end{aligned} Var(x)=m1​i=1∑m​(xi​−μ)2​ 去除均值，方便计算 x←x−E[x]x\leftarrow x-E[.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

捡起一束光

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值