机器学习-降维方法-有监督学习:LDA算法(线性判别分析)【流程:①类内散度矩阵Sw->②类间散度矩阵Sb->计算Sw^-1Sb的特征值、特征向量W->得到投影矩阵W->将样本X通过W投影进行降维】

LDA是一种有监督学习的降维技术,旨在最大化类间散度并最小化类内散度。与PCA相比,LDA利用类别信息,寻找投影后类别区分度高的方向。LDA流程包括计算类内散度矩阵Sw、类间散度矩阵Sb,通过Sw^-1Sb的特征值和特征向量找到最佳投影方向。LDA适用于有标签数据,而PCA则为无监督方法。
摘要由CSDN通过智能技术生成

LDA (Linear Discriminant Analysis, 线性判别分析)是一种有监督学习算法,同时经常被用来对数据进行降维。

相比于PCA,LDA可以作为一种有监督的降维算法。在PCA中,算法没有考虑数据的标签(类别),PCA只是把原数据映射到一些方差比较大的方向上而已

LDA是一种监督学习的降维技术,也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。

LDA的中心思想:投影后类内方差最小类间方差最大。要将数据在低维度上进行投影,投影后希望每一种类别数据的投影点尽可能的接近,而不同类别的数据的类别中心之间的距离尽可能的大。

在这里插入图片描述
上图中国提供了两种投影方式,哪一种能更好的满足我们的标准呢?从直观上可以看出,右图要比左图的投影效果好,因为:

  • 右图的红色数据和蓝色数据各个较为集中,且类别之间的距离明显。
  • 左图则在边界处数据混杂。

以上就是LDA的主要

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值