主成分分析（PCA）与线性判别分析（LDA）的区别与联系

最新推荐文章于 2025-02-16 13:28:27 发布
最新推荐文章于 2025-02-16 13:28:27 发布
阅读量7.9k 收藏 33
点赞数 5
分类专栏： 脑电信号（EEG） 文章标签： 算法 pca降维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iceberg7012/article/details/109200112
版权
本文对比了LDA(线性判别分析)与PCA(主成分分析)两种降维方法的异同。相同之处在于两者都能进行数据降维且使用了矩阵特征分解思想。不同之处包括LDA是有监督方法而PCA为无监督方法；LDA降维受限于类别数，PCA则没有此限制；LDA用于分类性能最佳的投影方向选择，而PCA则侧重于最大方差的方向。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

LDA用于降维，和PCA有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。

相同点：

1）两者均可以对数据进行降维。

2）两者在降维时均使用了矩阵特征分解的思想。

3）两者都假设数据符合高斯分布。

不同点：

1）LDA是有监督的降维方法，而PCA是无监督的降维方法

2）LDA降维最多降到类别数k-1的维数，而PCA没有这个限制。

3）LDA除了可以用于降维，还可以用于分类。

4）LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向。

这点可以从下图形象的看出，在某些数据分布下LDA比PCA降维较优。　　在这里插入图片描述
当然，某些某些数据分布下PCA比LDA降维较优，如下图所示：
在这里插入图片描述

文章参考来源
https://www.cnblogs.com/pinard/p/6244265.html 线性判别分析LDA原理总结

PCA（主成分分析）+LDA（线性判别分析）+区别
data+scenario+science+insight
05-23 526
PCA（主成分分析）+LDA（线性判别分析）+区别 一、LDA算法 　　基本思想：LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。 　　浅显来讲，LDA方法的考虑是，对于一个多类别的分类问题，想要把它们映射到一个低维空间，如一维空间从而达到降维的目的，我们希望映射之后的数据间，两个..
主成分分析(PCA)/线性判别分析(LDA)总结
J~的博客
01-31 1923
1 PCA PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 关于PCA的原理强烈推荐这篇文章PCA的数学原理 2 LDA 之前我们讨论的 PCA降维，对样本数据来言，可以是没有类别标签 y 的。如果我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。我们可以使...
主成成分分析-PCA
开开_王子的博客
08-15 1095
1、 问题描述 下表1是某些学生的语文、数学、物理、化学成绩统计： 首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系。那么一眼就能看出来，数学、物理、化学这三门课的成绩构成了这组数据的主成分（很显然，数学作为第一主成分，因为数学成绩拉的最开）。为什么一眼能看出来？因为坐标轴选对了！下面再看一组学生的数学、物理、化学、语文、历史、英语成绩统计，见表2，还能不能一眼看出来
机器学习PCA和LDA
最新发布
田乐蒙的博客
02-16 719
主成分分析（PCA, Principal Component Analysis）和线性判别分析（LDA, Linear Discriminant Analysis）是两种常用的降维方法，它们虽然都用于数据降维，但核心思想和应用场景不同。
pca 和lda区别
热门推荐
chivalry
10-15 5万+
http://blog.csdn.net/scyscyao/article/details/5987581 这学期选了门模式识别的课。发现最常见的一种情况就是，书上写的老师ppt上写的都看不懂，然后绕了一大圈去自己查资料理解，回头看看发现，Ah-ha，原来本质的原理那么简单，自己一开始只不过被那些看似formidable的细节吓到了。所以在这里把自己所学的一些点记录下来，供备忘，也供参考
PCA与LDA比较
11-19 1018
本文用于理解机器学习中常见的两种降维方法，主成分分析和线性判别分析，并对两者进行简单的对比。 基本目录如下： 什么是PCA？ 1.1 先导数学知识准备 1.2 PCA基本概念理解 1.3 PCA推导之最大方差理论 什么是LDA？ 2.1 LDA基本概念理解 2.2 LDA理论推导 PCA与LDA的比较分析 ------------------第一菇 - 什...
PCA与LDA的区别与联系
weixin_30294709的博客
04-15 298
由于涉及内容较多，这里转载别人的博客： http://blog.csdn.net/sunmenggmail/article/details/8071502 其实主要在于：PCA与LDA的变换矩阵不同，由于他们在处理信息目标上存在差异； PCA：主要使得原向量在其上的投影最大； LDA：主要使得通过投影后的向量最具区分性。 原理在上面的博客里比较全面了。 转载于:https:/...
pca-lda.zip_PCALDA_PCA主成分分析_pca lda_pca-lda_线性判别分析
07-15
主成分分析法和线性判别分析常用来对原始数据进行简单的数学分析
线性判别分析（LDA）与主成分分析（PCA）
weixin_43211414的博客
08-06 509
从原始的空间中顺序的找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大，第三个轴是与第1、2个轴正交的平面中方差最大的。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。2). 以标签、类别衡量差异性的有监督降维方式，相对于PCA的模糊性，其目的更明确，更能反映样本间的差异；2). 两者在降维时均使用了矩阵特征分解的思想；
PCA主成分分析.rar_PCA主成分分析_PCA数据降维_pca_主成分分析pca_降维
09-21
在实际操作中，需要注意PCA的一个限制是它假设特征之间是线性关系，对于非线性数据，可能需要使用其他降维方法，如LDA（线性判别分析）、t-SNE（t分布随机邻域嵌入）等。此外，PCA可能会丢失部分原始信息，因为它...
LDAPCA.zip_主成分分析_包括部分讲解_线性判别分析代码
07-14
**主成分分析(PCA)与线性判别分析(LDA)** 主成分分析（PCA）是一种统计学方法，主要用于高维度数据的降维。在数据分析和机器学习领域，PCA广泛应用于特征提取，它能将原始数据转换成一组线性不相关的特征向量，这些...
线性判别分析与主成分分析及其相关研究评述_王晓慧.pdf
03-02
:线性判别分析(LDA)和主成分分析(PCA)都在各个领域有着重 要的作用。他们各自抓住样本在特征空间的不同特征, 一般情况下更趋向于使 用LDA, 因为LDA直接处理类间的分析问题, 而PCA则没有突出类的结构。 然而实验证明PCA在某些问题上又明显优于LDA。于是, 改进或结合使用 LDA与PCA成了非常必要的课题。现阶段在这个领域上已经有许多优秀的研 究成果, 本文简单的介绍了其中几种效果较好的相关分析方法, 其中又以混合 判别分析(HDA)最优。HDA不仅同时抓住了样本的判别信息和描述信息, 使PCA与LDA在各种情况下达到平衡, 而且在二维参数空间中提供了一系列 的分析方法, 更有利于解决小样本问题和高维问题。BoostedHDA的提出通过 用迭代的方法改进弱分类器, 避免了HDA复杂的参数搜索, 并得到一种统一 计算HDA的方法。文章将在第三部分引用一些已有的实验结果来验证HDA的 优越性。
PCA_ICA_LDA详细介绍与比较
09-02
还在为PCA、ICA、LDA而烦恼吗，作为一个机器学习与模式识别方向的研究生，这三个术语困扰了我很久，自己在网上找了很多的资料，最后发现了这个超级棒的ppt，讲得很清楚明了。好资料当然要相互分享嘛，希望这个ppt同样对大家有所帮助。
数据降维之主成分分析（PCA）与线性判别分析（LDA）对比
ZhangYuq16的博客
09-30 1806
算法异同 相同点： 两者都是线性降维算法； 两者均利用了矩阵特征值分解的思想； 不同点： LDA为有监督的方法，要求原始数据包含类别标签PCA为无监督的方法； LDA降维有维数限制，必须降至数据类型数减一维及以下，PCA没有维数限制； LDA降维时以类间距离最大、类内距离最小为目标，PCA以所有样本间距离最大为目标； LDA本身可以用于分类，PCA不行； PCA方法下特征向量可以表示对应特征...
PCA和LDA以及之间的区别
Season
03-06 1万+
Season请您先思考：    ·PCA与矩阵有什么关系?    ·LDA与瑞利商有什么关系？    ·PCA和LDA在降维世界里，谁是赢家？一、PCA1、思想       主成分分析（Principal components analysis），是一种降维方法，在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用，需要我们找出数据里最主要的方面，然后来代替原始数据。比如我们希望将数据从二维降低到...
线性判别分析LDA解析2
porly的专栏
09-26 3980
首先搞清楚什么叫判别分析？Discriminant Analysis就是根据研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。比如在KNN中用的就是距离判别，当然这里的“距离”又有好几种：欧氏距离、街区距离、甚至可以用皮尔森相关系数等。朴素贝叶斯分类用的就是Bayes判别法。本文要讲的线性判别分析就是用是F
LDA 和 PCA 降维：原理、区别、应用场景及在人工智能领域的具体应用及代码分析
m0_44975814的博客
01-10 1314
长轴方向是数据变化最大的方向，也就是第一主成分，而短轴方向是与长轴垂直且数据变化次大的方向，即第二主成分。LDA 试图找到一条直线，当把数据点投影到这条直线上时，两类数据的投影点之间的间隔尽可能大，并且每类数据投影后的分布尽可能紧凑。LDA 的目标是找到一个投影方向，使得不同类别数据在投影后的空间中尽可能地分开，同时同一类别数据的内聚性尽可能高。在更高维度的数据中，PCA 会依次找到数据变化最大、次大等方向，将数据投影到这些方向构成的新空间中，从而实现降维。），通过求解这个优化问题来找到最佳的投影方向。
机器学习之降维方法：PCA和LDA的区别
平原的博客
08-10 1万+
一、PCA（主成分分析） 二、LDA（线性判别分析） 1、二类LDA原理 2、多类LDA原理 3、LDA算法流程 4、LDA算法小结 三、 LDA 和 PCA区别 一、PCA（主成分分析） PCA是一种无监督的数据降维方法 降维是对数据高维度特征的一种预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生...
MATLAB主成分分析PCA：多维数据降维与压缩
而Matlab同样提供了很多其他的降维方法，如线性判别分析（LDA）、t-分布随机邻域嵌入（t-SNE）等。 #### 6. 数据分析中的应用 在数据分析中，PCA不仅仅被用于降维。它还可以用来探索数据的结构，找出数据中最重要...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值