PCA与LDA两种降维方法原理的简要对比

最新推荐文章于 2022-12-29 23:10:37 发布
最新推荐文章于 2022-12-29 23:10:37 发布
阅读量2.1k 收藏 8
点赞数 1
分类专栏： 深度学习 机器学习 文章标签： PCA LDA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyq_12/article/details/86603074
版权

1、PCA(主成分分析)

无监督的，选择的是投影后数据方差最大的方向。因此PCA假设方差越大，代表的信息量越大，使用主成分来表示原始数据可以去除冗余的维度，达到降维的目的。

2、LDA(线性判别分析)

有监督的，选择的是投影后类内方差小、类间方差大的方向。用到了类别标签信息，为了找到数据中具有判别性的维度，使原始数据在这些方向上投影后，不同类别尽可能区分开来。

 

例如：语音设别中，如果想从音频中提取某人的语音信号，可以使用PCA进行降维，来过滤掉一些固定频率（方差相对较小）的背景噪声。但如果需要从这段音频中识别出声音属于哪个人的，就需要使用LDA对数据进行降维，使每个人的语音信号具有区分性。

JIN_嫣熙
关注
专栏目录
PCA（主成分分析）+LDA（线性判别分析）+区别
data+scenario+science+insight
05-23 460
PCA（主成分分析）+LDA（线性判别分析）+区别 一、LDA算法 　　基本思想：LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。 　　浅显来讲，LDA方法的考虑是，对于一个多类别的分类问题，想要把它们映射到一个低维空间，如一维空间从而达到降维的目的，我们希望映射之后的数据间，两个..
PCA LDA 降维算法 介绍 实现 对比
weixin_44839047的博客
12-05 1352
PCA的原理、学习模型、算法步骤 PCA的目的是对于对于样本x∈Rdx\in \R^dx∈Rd，寻找到一个变换矩阵WT，W∈Rd×m,m<dW^T，W\in\R^{d\times m},m<dWT，W∈Rd×m,m<d，通过变换矩阵可以将样本转化为低维表示y=WTxy=W^Txy=WTx，并且最大可能的保留样本信息。 从最大投影误差来解释PCA的原理，我们希望得到的yyy在特征空间中能尽可能的分散，假设对于样本集合满足0均值化，∑xi=0\sum x_i=0∑xi​=0，那么投影之后的新样
主成分分析（PCA）与线性判别分析（LDA）的区别与联系
梁小憨憨的博客
08-04 6827
刚整理完PCA的内容，又记得之前用过LDA但是并没有在这里整理，所以今天把这两个算法整理下，方便以后查阅。
机器学习——PCA与LDA
DCGJ666的博客
04-17 4886
机器学习——PCA与LDAPCA推导一个PCALDALDA的中心思想是什么LDA的优缺点LDA的步骤推导LDAPCA和LDA有什么区别 PCA 主成分分析（PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分 可以使用两种方法进行PCA，分别是特征分解或奇异值分解（SVD）。PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。 算法步骤 假设有m条n维数据 将原始数据按列组成n行m
PCA和LDA
机器学习
11-11 1933
主成分分析算法（PCA） Principal Component Analysis(PCA)是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。 通俗的理解，如果把所有的点都映射到一起，那么几乎所有的信息（如点和点之间的距离关系）都丢失了，而如果映射后方差尽可能的大
线性降维和PCA
W.J.Z
04-17 562
四大降维算法的比较和一些理解（PCA、LDA、LLE、LEP）
weixin_43909872的博客
12-31 1万+
PCA Principle components analysis 主成分分析法：https://blog.csdn.net/weixin_43909872/article/details/85321384 它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。 缺点：PCA是用投影后方差大...
lda 吗 样本中心化 需要_LDA和PCA降维总结
weixin_42620563的博客
01-14 254
线性判别分析(LDA)LDA思想总结​ 线性判别分析(Linear Discriminant Analysis，LDA)是一种经典的降维方法。和主成分分析PCA不考虑样本类别输出的无监督降维技术不同，LDA是一种监督学习的降维技术，数据集的每个样本有类别输出。LDA分类思想简单总结如下：多维空间中，数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将d维数据转化成1维数据...
PCA与LDA课件
10-07
另一方面，Fisher线性判别分析（LDA）是一个优化了分类效果的降维方法，与PCA不同，它在寻找数据最佳表示时考虑了类别标签信息。LDA的核心思想是寻找一个特征空间，在这个空间中，相同类别的样本点尽可能近，不同...
美赛各题型常见参考代码：34种数据降维方法代码.zip
最新发布
08-05
以上就是34种数据降维方法的简要介绍，每一种方法都有其适用场景和优缺点，选择合适的方法取决于具体的问题和数据特性。在美赛等竞赛中，根据问题需求灵活运用这些降维技术，可以有效地简化问题，提升模型的解释性和...
pca+lda做特征降维snn分类器对数据进行分类
05-26
pca+lda做特征降维snn分类器对数据进行分类，协同神经网络做模式识别，pca对整体原始数据进行降维处理，然后构造随机子空间分类器snn分类，效果不错
LDA与PCA都是常用的降维方法，二者的区别
Gunther的博客
10-22 1万+
从主观的理解上，主成分分析到底是什么？它其实是对数据在高维空间下的一个投影转换，通过一定的投影规则将原来从一个角度看到的多个维度映射成较少的维度。到底什么是映射，下面的图就可以很好地解释这个问题——正常角度看是两个半椭圆形分布的数据集，但经过旋转（映射）之后是两条线性分布数据集。 LDA与PCA都是常用的降维方法，二者的区别在于： 出发思想不同。PCA主要是从特征的
【机器学习】PCA与LDA比较
热情、奔放、快乐编程！
12-29 1626
LDA在降维过程中最小化类内距离，即同类样本的方差尽可能小，同时最大化类间距离，即异类样本尽可能分离，这本身是也为分类任务服务的；而PCA是无监督的降维方法，其假设方差越大，信息量越多，因此会选择样本点投影具有最大方差的方向。②如果用户对观测对象有一定的先验知识，掌握了数据的一些特征，却无法通过参数化等方法对处理过程进行干预，可能会得不到预期的效果，效率也不高。① 降维过程中可以使用类别的先验知识（有监督的），而PCA是无监督的。① PCA是无监督的降维方法，而LDA是有监督的降维方法。
学习笔记一LDA降维与PCA的区别
ainimao6666的博客
03-22 2779
1、PCA无需样本标签，属于无监督学习降维；LDA需要样本标签，属于有监督学习降维。二者均是寻找一定的特征向量w来降维的，其中，LDA抓住样本的判别特征，PCA则侧重描叙特征。概括来说，PCA选择样本点投影具有最大方差的方向，LDA选择分类性能最好的方向。 2、PCA降维是直接和特征维度相关的，比如原始数据是d维的，那么PCA后，可以任意选取1维、2维，一直到d维都行（当然是对应特征值大的那些）
【机器学习实战】降维方法的sklearn实现----PCA和LDA
花丸大老师的博客
04-25 1万+
利用sklearn库来给PCA和LDA做一个比较。首先先了解一下这两个库，然后通过(iris)鸢尾花数据集来进行实践操作。 【PCA】 主要参数： n_components int, float, None or string 这个参数类型有int型，float型，string型，默认为None。 它的作用是指定PCA降维后的特征数(也就是降维后的维度)。 若取默认(...
LDA与PCA的一些区别总结
u013488563的专栏
05-17 7703
LDA，基本和PCA是一对双生子，它们之间的区别就是PCA是一种unsupervised的映射方法而LDA是一种supervised映射方法，这一点可以从下图中一个2D的例子简单看出
LDA算法原理及LDA与PCA的比较
Diliduluw的博客
04-18 5962
1. LDA算法简介 LDA（线性判别式分析 Linear Discriminant Analysis）属于机器学习中的监督学习算法，常用来做特征提取、数据降维和任务分类。在人脸识别、人脸检测等领域发挥重要作用。LDA算法与PCA算法都是常用的降维技术。二者的区别在于：LDA是一种监督学习的降维技术，也就是说它的每个样本是有类别输出的，而之前所学习的PCA算法是不考虑样本类别输出的无监督降维技术...
机器学习(30)之线性判别分析(LDA)原理详解
热门推荐
机器学习算法与Python学习
12-07 1万+
微信公众号 关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第一 【Python】：排名第三 【算法】：排名第四 前言 在主成分分析（PCA）原理总结（机器学习(27)【降维】之主成分分析(PCA)详解）中对降维算法PCA做了总结。这里就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 简称LDA）做一个总结。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值