PCA与LDA两种降维方法原理的简要对比

最新推荐文章于 2024-09-10 16:41:19 发布
最新推荐文章于 2024-09-10 16:41:19 发布
阅读量2.1k 收藏 8
点赞数 1
分类专栏： 深度学习 机器学习 文章标签： PCA LDA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyq_12/article/details/86603074
版权

1、PCA(主成分分析)

无监督的，选择的是投影后数据方差最大的方向。因此PCA假设方差越大，代表的信息量越大，使用主成分来表示原始数据可以去除冗余的维度，达到降维的目的。

2、LDA(线性判别分析)

有监督的，选择的是投影后类内方差小、类间方差大的方向。用到了类别标签信息，为了找到数据中具有判别性的维度，使原始数据在这些方向上投影后，不同类别尽可能区分开来。

 

例如：语音设别中，如果想从音频中提取某人的语音信号，可以使用PCA进行降维，来过滤掉一些固定频率（方差相对较小）的背景噪声。但如果需要从这段音频中识别出声音属于哪个人的，就需要使用LDA对数据进行降维，使每个人的语音信号具有区分性。

JIN_嫣熙
关注
专栏目录
PCA（主成分分析）+LDA（线性判别分析）+区别
data+scenario+science+insight
05-23 480
PCA（主成分分析）+LDA（线性判别分析）+区别 一、LDA算法 　　基本思想：LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。 　　浅显来讲，LDA方法的考虑是，对于一个多类别的分类问题，想要把它们映射到一个低维空间，如一维空间从而达到降维的目的，我们希望映射之后的数据间，两个..
机器学习（十六）— LDA和PCA降维
dbsggal90047018的博客
05-14 622
一、LDA算法 　　基本思想：LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。 　　浅显来讲，LDA方法的考虑是，对于一个多类别的分类问题，想要把它们映射到一个低维空间...
PCA LDA 降维算法 介绍 实现 对比
weixin_44839047的博客
12-05 1377
PCA的原理、学习模型、算法步骤 PCA的目的是对于对于样本x∈Rdx\in \R^dx∈Rd，寻找到一个变换矩阵WT，W∈Rd×m,m<dW^T，W\in\R^{d\times m},m<dWT，W∈Rd×m,m<d，通过变换矩阵可以将样本转化为低维表示y=WTxy=W^Txy=WTx，并且最大可能的保留样本信息。 从最大投影误差来解释PCA的原理，我们希望得到的yyy在特征空间中能尽可能的分散，假设对于样本集合满足0均值化，∑xi=0\sum x_i=0∑xi​=0，那么投影之后的新样
高光谱图像处理，使其适用于深度学习任务
最新发布
qq_45809323的博客
09-10 1516
高光谱图像的处理涉及从降维、归一化等基础步骤，到图像块切割、数据增强等操作，最终通过深度学习模型进行检测。选择适合的模型架构、输入格式和后处理方法可以有效提高高光谱图像在深度学习任务中的表现。
主成分分析（PCA）与线性判别分析（LDA）的区别与联系
梁小憨憨的博客
08-04 7361
刚整理完PCA的内容，又记得之前用过LDA但是并没有在这里整理，所以今天把这两个算法整理下，方便以后查阅。
机器学习——PCA与LDA
DCGJ666的博客
04-17 5130
机器学习——PCA与LDAPCA推导一个PCALDALDA的中心思想是什么LDA的优缺点LDA的步骤推导LDAPCA和LDA有什么区别 PCA 主成分分析（PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分 可以使用两种方法进行PCA，分别是特征分解或奇异值分解（SVD）。PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。 算法步骤 假设有m条n维数据 将原始数据按列组成n行m
PCA和LDA
机器学习
11-11 1952
主成分分析算法（PCA） Principal Component Analysis(PCA)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。 通俗的理解，如果把所有的点都映射到一起，那么几乎所有的信息（如点和点之间的距离关系）都丢失了，而如果映射后方差尽可能的大
线性降维和PCA
W.J.Z
04-17 581
两种降维方法原理：PCA和LDA
SnowQueen1024的博客
12-13 914
1、PCA(主成分分析) 无监督降维技术，利用正交变换把由线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。 LDA选择的是投影后数据方差最大的方向。因此PCA假设方差越大，代表的信息量越大，使用主成分来表示原始数据可以去除冗余的维度，达到降维的目的。 [----暂未了解----] 2、LDA(线性判别分） 有监督的，选择的是投影后类内方差小、类间方差大的...
LDA与PCA都是常用的降维方法，二者的区别
热门推荐
Gunther的博客
10-22 1万+
从主观的理解上，主成分分析到底是什么？它其实是对数据在高维空间下的一个投影转换，通过一定的投影规则将原来从一个角度看到的多个维度映射成较少的维度。到底什么是映射，下面的图就可以很好地解释这个问题——正常角度看是两个半椭圆形分布的数据集，但经过旋转（映射）之后是两条线性分布数据集。 LDA与PCA都是常用的降维方法，二者的区别在于： 出发思想不同。PCA主要是从特征的
四大降维算法的比较和一些理解（PCA、LDA、LLE、LEP）
weixin_43909872的博客
12-31 1万+
PCA Principle components analysis 主成分分析法：https://blog.csdn.net/weixin_43909872/article/details/85321384 它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。 缺点：PCA是用投影后方差大...
lda 吗 样本中心化 需要_LDA和PCA降维总结
weixin_42620563的博客
01-14 270
线性判别分析(LDA)LDA思想总结​ 线性判别分析(Linear Discriminant Analysis，LDA)是一种经典的降维方法。和主成分分析PCA不考虑样本类别输出的无监督降维技术不同，LDA是一种监督学习的降维技术，数据集的每个样本有类别输出。LDA分类思想简单总结如下：多维空间中，数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将d维数据转化成1维数据...
PCA与LDA课件
10-07
另一方面，Fisher线性判别分析（LDA）是一个优化了分类效果的降维方法，与PCA不同，它在寻找数据最佳表示时考虑了类别标签信息。LDA的核心思想是寻找一个特征空间，在这个空间中，相同类别的样本点尽可能近，不同...
美赛各题型常见参考代码：34种数据降维方法代码.zip
08-05
以上就是34种数据降维方法的简要介绍，每一种方法都有其适用场景和优缺点，选择合适的方法取决于具体的问题和数据特性。在美赛等竞赛中，根据问题需求灵活运用这些降维技术，可以有效地简化问题，提升模型的解释性和...
【PCA、LDA降维，及模型评估（SE,SP,AUC）】
weixin_43793397的博客
11-26 4007
1. 采用 PCA 对男女生样本数据中的（身高、体重、鞋码、50m 成绩、肺活量） 共 5 个特征进行特征降维，并实现 LDA 算法对处理后的特征进行分类，计算 模型预测性能（包含 SE、SP、ACC 和 AUC），试分析 LDA 算法如果作为降维 技术对于各性能指标的影响。 2. 实现基于信息增益率进行划分选择的决策树算法，对男女生样本数据中的（喜 欢颜色，喜欢运动，喜欢文学）3 个特征进行分类，计算模型预测性能（包 含 SE、SP、ACC），并以友好的方式图示化结果。 本文的运行环境是window.
主成成分分析-PCA
开开_王子的博客
08-15 1062
1、 问题描述 下表1是某些学生的语文、数学、物理、化学成绩统计： 首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系。那么一眼就能看出来，数学、物理、化学这三门课的成绩构成了这组数据的主成分（很显然，数学作为第一主成分，因为数学成绩拉的最开）。为什么一眼能看出来？因为坐标轴选对了！下面再看一组学生的数学、物理、化学、语文、历史、英语成绩统计，见表2，还能不能一眼看出来
数据降维之LDA&PCA
zxhohai的博客
10-06 8952
数据降维之LDA&PCA我们都知道机器学习算法的性能受到样本数据的特征维数的影响，特征维数越多，需要的训练数据也越大，机器学习算法所消耗的时间也越多，甚至成指数爆炸增长。同时过多的特征维数之间也可能存在相互关联的特征和一些噪声。因此，在训练机器学习算法之前，通常我们会对样本数据进行预处理，数据降维就是通常需要完成的一步。线性判别分析（LDA）线性判别分析属于有监督学习算法，也就是对于每一个给定的n维
LDA算法原理及LDA与PCA的比较
Diliduluw的博客
04-18 6036
1. LDA算法简介 LDA（线性判别式分析 Linear Discriminant Analysis）属于机器学习中的监督学习算法，常用来做特征提取、数据降维和任务分类。在人脸识别、人脸检测等领域发挥重要作用。LDA算法与PCA算法都是常用的降维技术。二者的区别在于：LDA是一种监督学习的降维技术，也就是说它的每个样本是有类别输出的，而之前所学习的PCA算法是不考虑样本类别输出的无监督降维技术...
PCA和LDA原理
hxl
09-23 958
PCA的作用 主成分分析简称 PCA（Principal Component Analysis），有两个大的用处 1.Clustering 把复杂的多维数据点，简化成少量数据点，易于分簇 2.降维 降低高维数据，简化计算 降低维度，压缩，去噪 原来的数据集是d维，转换成k维的数据，k<d 新的k维数据尽可能多的包含原来d维数据的信息 数据压缩 PCA求解 2维降维到1维: 寻找一个一维向量的方向，数据在这个向量上的投影能最小化损失 从n维降维到k维：寻找一个k维向量，数据在这个k维空间的投影能
LDA和PCA降维的区别
进击的扛把子
10-21 2894
LDA和PCA降维的区别
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值