机器学习-降维方法-有监督学习：LDA算法(线性判别分析)【流程：①类内散度矩阵Sw-＞②类间散度矩阵Sb-＞计算Sw^-1Sb的特征值、特征向量W-＞得到投影矩阵W-＞将样本X通过W投影进行降维】

最新推荐文章于 2022-10-10 20:55:17 发布
最新推荐文章于 2022-10-10 20:55:17 发布
阅读量3.7k 收藏 16
点赞数 4
分类专栏： # ML/经典模型 文章标签： 机器学习 算法 人工智能 LDA降维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/121042287
版权
LDA是一种有监督学习的降维技术，旨在最大化类间散度并最小化类内散度。与PCA相比，LDA利用类别信息，寻找投影后类别区分度高的方向。LDA流程包括计算类内散度矩阵Sw、类间散度矩阵Sb，通过Sw^-1Sb的特征值和特征向量找到最佳投影方向。LDA适用于有标签数据，而PCA则为无监督方法。
摘要由CSDN通过智能技术生成

LDA （Linear Discriminant Analysis, 线性判别分析）是一种有监督学习算法，同时经常被用来对数据进行降维。

相比于PCA，LDA可以作为一种有监督的降维算法。在PCA中，算法没有考虑数据的标签（类别），PCA只是把原数据映射到一些方差比较大的方向上而已。

LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。

LDA的中心思想：投影后类内方差最小，类间方差最大。要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。

在这里插入图片描述
上图中国提供了两种投影方式，哪一种能更好的满足我们的标准呢？从直观上可以看出，右图要比左图的投影效果好，因为：

  • 右图的红色数据和蓝色数据各个较为集中，且类别之间的距离明显。
  • 左图则在边界处数据混杂。

以上就是LDA的主要

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
【机器学习】监督学习算法之： 线性判别分析(LDA)
商务合作 | 面试培训 | 职场规划 ==>主页扫码
03-25 5257
监督学习算法之 LDA
降维方法-LDA线性判别分析
weixin_30731305的博客
01-28 2433
降维-LDA线性判别分析 【机器学习】LDA线性判别分析 1.LDA的基本思想 2.LDA求解方法 3.将LDA推广到多分类 4. LDA算法流程 5. LDA和PCA对比 【附录1】瑞利商与广义瑞利商 线性判别分析 (Linear Discriminant Analysis，LDA)是一种经典的线...
机器学习（十六）— LDA和PCA降维
dbsggal90047018的博客
05-14 616
一、LDA算法 　　基本思想：LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。我们要将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。 　　浅显来讲，LDA方法的考虑是，对于一个多类别的分类问题，想要把它们映射到一个低维空间...
（有监督数据降维）线性判别分析 - LDA
壮壮不太胖的学习笔记
05-15 1626
文章目录一，LDA的基本思想及数学分析二，如何使用LDA进行数据降维三，示例 sklearn官网 - sklearn.decomposition.LatentDirichletAllocation 一，LDA的基本思想及数学分析 参考：【机器学习】LDA线性判别分析 参考：机器学习降维算法二：LDA（Linear Discriminant Analysis） LDA和PCA对比 LDA用于降维，和PCA有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。 首先我们看看相同点： 两者均可
LDA ：有监督的降维算法
weixin_41012399的博客
06-30 4504
LDA和PCA类似，只是在 PCA 中， 没有考虑数据的标签（类别） ， 只是把原数据映射到一些方差比较大的方向上，而LDA考虑类别标签了。 LDA 首先是为了分类服务的，使得投影后的样本尽可能按照原始类别分开 。 如图：如果按照PCA降维，主成分方向为Y轴，而LDA降维，主成分分析为x。显然以x方向为主成分降维后的数据更便于分类，用最简单的线性分类器就能实现。 假设最后的主成分方向为w，为求得...
新兴机器学习算法：从无监督降维到监督降维
热门推荐
沈春旭的博客
06-18 1万+
1.前言 机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的或非线性的。 目前大部分降维算法处理向量表达的数据，也有一些降维算法处理高
fisher线性判别分析【有监督的降维算法】阅读笔记
MustImproved的博客
09-03 694
fisher线性判别分析【有监督的降维算法】 《模式分类》、《百面机器学习》 也称LDA。 一维判别分析 PCA方法寻找的是用来有效表示的主轴方向，而判别分析方法（discriminant analysis）寻找的是用来有效分类的方法。 可分性分析的目标：通过适当的选择投影直线，找到能够最大限度的区分各类数据点的投影方向。 假设我们有一组nnn个ddd维的样本x⃗1,⋯ ,x⃗n\vec{x}_{1}, \cdots, \vec{x}_{n}x1​,⋯,xn​，它们分属于两个不同的类别，即大小为n1n_{1
【IM】关于监督降维的理解
医疗影像检索
10-29 1289
监督降维包括半监督降维以及分类、回归的降维。  
机器学习：线性(Fisher)判别分析
GentleCP的博客
01-01 2327
本文详细介绍了机器学习中线性(Fisher)鉴别分析的内容，包括公式推导，分类思想，能够帮助你很好理解这一分类方法
【机器学习】机器学习之线性判别分析(LDA)
weixin_45937995的博客
01-05 900
目录 一、线性判别分析介绍 二、线性判别分析原理 1. 类内散度矩阵（within-class scatter matrix） 2. 类间散度矩阵（between-class scatter matrix） 3. 广义瑞利商(generalized Rayleigh quotiet) 三、sklearn库实现线性判别分析LDA 四、总结 五、参考 一、线性判别分析介绍 线性判别分析(Linear Discriminant Analysis，简称 L D A LDA LDA)是一种经典的线性学习方
降维方法监督分类的比较研究
10-17
对ISOMap、LDA、LLE、PCA这4种典型降维算法的主要思想和算法步骤进行了详细分析，并将它们用于有监督分类。从实验结果分析得到结论，其可为有监督分类提供有益的借鉴。
LDA散度矩阵的计算
08-17
计算LDA中的散度矩阵，matlab实现
LDA线性判别分析公式推导+有监督分类+有监督降维
yanxiaopan的博客
04-26 836
参考： https://blog.csdn.net/sinat_29957455/article/details/79574851 https://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html https://blog.csdn.net/liuweiyuxian...
常见监督学习、聚类、集成、降维、推荐算法汇总（一）：监督学习
Kingsleyandher的博客
08-21 1851
前言 监督学习最简单的理解就是给数据打上标签后让机器进行学习的模式。 支持向量机（SVM） 硬间隔最大化支持向量机 目的： 寻找能达到最优分类的超平面，并且使其具有最优的鲁棒性，即最好的泛化能力。 感知机： 以误分类最小为策略（解） 支持向量机： 以间隔最大化为策略（存在最优解） 函数间隔和几何间隔的差别？ 答：一般来说一个点距离超平面的远近可以衡量预测的确信程度。函数间隔可以表示分类预测的正确性以及准确度，但是成比例的改变超平面的参数，在超平面不变的情况下，函数间隔也会增加。为了解决这个问题就将超平面的参
python计算矩阵的散度_计算类内类间散度矩阵（附代码）
weixin_39709674的博客
12-19 2728
classcompute_scatter_matrix(object):def__init__(self,X,labels):self.X=Xself.labels=labelsdefcompute_scatter(self):meanAll=np.mean(self.X,axis=0)St=np.dot((self.X-meanAll).T,(self.X-meanAll)...
无监督学习与有监督学习的本质区别是什么_无监督学习之数据降维
weixin_39999025的博客
11-19 453
无监督学习有一个特别的作用就是给高维数据降维，比如一个MNIST的图片，1*28*28=784维数据，难以有直观的理解，因为人类视觉容易理解的只有1维线，2维面和3维体，这时候无监督学习就有了用武之地，还有一个特点就是无监督学习不需要数据标签，下面来一个简单的例子准备数据准备两组数据，10维的，第一组产生3维的随机向量，然后使用3维数据生成10维数据，第二组直接就是10维的随机向量两组数据产生逻辑...
机器学习算法/模型——有监督到无监督（降维）：主成分分析（PCA）
Robin_Pi的博客
02-24 7196
主成分分析 PCA1. 背景：数据降维2. 主成分分析原理3. 求解主成分3.1 矩阵分解3.2 奇异值分解 1. 背景：数据降维 2. 主成分分析原理 3. 求解主成分 3.1 矩阵分解 3.2 奇异值分解 参考 机器学习数据预处理：数据降维之PCA 数据预处理：PCA原理推导 数据降维处理：PCA之特征值分解法例子解析 数据降维处理：PCA之奇异值分解（SVD）介绍 ...
计算类内散度矩阵和类间散度矩阵实例
m0_62879974的博客
10-10 1万+
计算类内散度矩阵和类间散度矩阵实例
降维算法一览
weixin_34004750的博客
05-22 619
在机器学习中经常会碰到一些高维的数据集，而在高维数据情形下会出现数据样本稀疏，距离计算等困难，这类问题是所有机器学习方法共同面临的严重问题，称之为 “ 维度灾难 ”。另外在高维特征中容易出现特征之间的线性相关，这也就意味着有的特征是冗余存在的。基于这些问题，降维思想就出现了。 降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。通过降维，可以方便数据可视化+数据分析+数据压缩+...
机器学习入门：LDA与PCA降维算法详解及Python实现
本文主要介绍了机器学习中的两种降维算法——LDA（线性判别分析）和PCA（主成分分析），并强调了降维在实际数据处理中的重要性，如提高计算效率和保留关键特征。文章详细阐述了LDA算法的用途、目标和原理，特别强调...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值