每天5分钟机器学习:线性判别分析LDA算法

最新推荐文章于 2024-02-02 09:23:00 发布
最新推荐文章于 2024-02-02 09:23:00 发布
阅读量413 收藏
点赞数
分类专栏： 每天五分钟玩转机器学习算法 文章标签： 算法 人工智能 LDA 线性判别分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huanfeng_AI/article/details/128525983
版权
本文介绍了线性判别分析（LDA）的基本原理，对比了LDA与PCA的区别，并阐述了LDA如何在考虑类别信息的基础上进行有效的降维，以增强不同类别之间的区分度和同一类别内的数据点紧密性。
摘要由CSDN通过智能技术生成

本文重点

我们前面学习了PCA算法，本文我们将学习一种新的算法，这种算法和PCA非常相似，这个算法叫做线性判别分析,简称为LDA,也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。

LDA原理

LDA的原理是，将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。

 

如图所示，我们可以看到有两个类别的数据，然后我们使用LDA算法，将所有的样本点映射到过原点的投影的直线，从图上可以清楚的看到，红色的点和蓝色的点被原点明显的分开了。因为红色的点表示一个类别，而蓝色的点表示一个类别。所以LDA很明显的将红色的点和蓝色的点分开了。

LDA和PCA的区别

LDA与前面介绍过的PCA

了解本专栏 订阅专栏 解锁全文
幻风_huanfeng
关注
专栏目录
订阅专栏
机器学习（七）：线性判别分析（LDA)
全栈川川
08-19 608
机器学习之LDA
【人工智能】机器学习：线性判别分析(Linear Discriminant Analysis, LDA)
AI天才研究院
05-05 8896
又称判别分析，是一种线性分类方法。的思想是，给定训练样本集，将所有样本投影到空间中的一个超平面上，使得相同类别的样本的投影点尽可能接近，不同类别的样本的投影点尽可能远离。在对一个新的样本进行分类时，先将其投影到该超平面上，再根据投影点的位置(以及预先设置的阈值)确定该样本的类别。也可以看作是一种监督的线性降维方法。
降维方法-LDA线性判别分析
weixin_30731305的博客
01-28 2439
降维-LDA线性判别分析 【机器学习】LDA线性判别分析 1.LDA的基本思想 2.LDA求解方法 3.将LDA推广到多分类 4. LDA算法流程 5. LDA和PCA对比 【附录1】瑞利商与广义瑞利商 线性判别分析 (Linear Discriminant Analysis，LDA)是一种经典的线...
机器学习：线性判别分析LDA（Python）
最新发布
2302_78896863的博客
02-02 1297
【代码】机器学习：线性判别分析LDA（Python）
【MATLAB】机器学习：线性判别分析LDA
Orange_Jet的博客
01-20 4157
实验内容 1.将LDA在训练样本上的低维表示结果可视化。 2.使用距离最短对测试样本进行分类。 实验代码 clear;clc; %% 导入数据 load("train.mat"); x=train(:,1:4); y=train(:,5); load("test.mat"); x_test=test; % *********************问题二******************* % ********************************************** %% 训练样本的
线性判别分析LDA算法代码
03-17
经典监督式学习降维方法线性判别分析LDA算法的MATLAB代码，具有降维性能好的特点，同时可以用于分类，是一种具有代表性的降维算法
机器学习：线性判别式分析(LDA)
AI333888的博客
08-29 891
线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。LDA与PCA都是常用的降维技术。
机器学习：线性判别分析LDA
小白兔的窝
03-19 1441
定义：线性判别式分析（Linear discriminant analysis），又称为Fisher线性判别(Fisher linear discriminant)。 原理：将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。更多见机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(
LFDA.zip_LFDA_lda_机器学习_线性判别分析_ＬＬＤＡ
09-23
局部线性判别分析（LLDA）是一种在机器学习领域广泛应用的降维技术，它是经典线性判别分析（LDA）的一种扩展。LDA的核心是寻找最优的低维投影，使得类间距离最大化，类内距离最小化，以此实现数据的有效分类和降维。...
机器学习：线性判别分析（LDA）
YovcGit的博客
09-19 176
它通过找到一组新的特征空间，将数据投影到该空间中，使得不同类别的样本尽可能地分开，同一类别内的样本尽可能地接近。函数首先计算每个类别的均值向量，然后计算类内散布矩阵和类间散布矩阵。接下来，通过计算这两个矩阵的特征值和特征向量，并选择前k个特征向量作为投影方向。计算每个类别的均值向量：对于每个类别，计算该类别中所有样本的平均值，得到类别的均值向量。a. 对于每个类别，计算该类别中每个样本与均值向量的差异，形成差异矩阵。a. 计算所有类别的均值向量的差异，形成差异矩阵。a. 对类内散布矩阵进行逆矩阵操作。
机器学习中最基本的概念之一：数据集、样本、特征和标签
huanfeng_AI的博客
04-20 4934
数据集、样本、特征和标签是机器学习中最基本的概念之一，它们在机器学习算法的设计和实现过程中起着至关重要的作用。在选择数据集、样本、特征和标签时，需要考虑到各种因素，以便更好地评估算法的性能和泛化能力。同时，需要不断优化和改进机器学习算法，以适应不断变化的数据和应用场景。
每天五分钟机器学习：一文搞懂回归算法和分类算法的异同点
huanfeng_AI的博客
08-04 3606
回归算法和分类算法虽然都是监督学习的方法，但是它们在实际应用中有着不同的特点和用途。回归算法主要应用于数值型数据的预测，而分类算法主要应用于类别型数据的分类。两者的模型形式、评估指标等也有所不同。在实际应用中，我们需要根据具体问题的特点，选择合适的算法来解决问题。
每天五分钟机器学习：如何计算模型的假阳性率和真阳性率？
huanfeng_AI的博客
10-28 3274
在机器学习和数据分析领域，假阳性率（False Positive Rate，FPR）和真阳性率（True Positive Rate，TPR）是评估分类模型性能的重要指标。理解和准确计算这两个指标对于优化模型、做出正确的决策以及评估模型的可靠性至关重要。
每天五分钟机器学习:梯度下降的学习率太大或太小会有什么问题？
huanfeng_AI的博客
06-13 2946
学习率的过大或者过小都会导致一些问题，为了解决这些问题，我们需要对学习率进行调参，一个好的学习率才能真正训练出强大的模型，下一篇文章，我们来介绍，如何对学习率进行调参。
每天五分钟机器学习：聚类算法中经常使用的肘部法则是什么？
huanfeng_AI的博客
12-04 2916
如何选择聚类的数目K，也就是说我们要将数据聚成几簇。我们可以通过可视化的方式（画图），或者聚类算法的输出结果（试一试）来手动的决定聚类的数目，或者根据实际需要来确定我们想要聚成几簇，比如前面的衣服问题。对于肘部法则，我们所需要做的是改变 k 值，也就是聚类类别的数量。我们对不同的k来计算代价函数，我们可以会得到这样的一条曲线： 这条曲线我们可以清楚的看到有一个肘点，所以我们选择K=3（因为K=3之后损失降低的慢了），但是有些时候可能我们得到的曲线是这样的： 这个没有明确的肘点，而是相对比较光滑的，所以这样的
每天五分钟机器学习：神经网络比逻辑回归强大的本质
huanfeng_AI的博客
10-18 2475
layer3。
每天五分钟机器学习：PCA算法如何确定数据压缩降维的最佳维度？
huanfeng_AI的博客
12-17 2330
上节课程中我们已经学习了pca算法，已经知道了如何将n维特征变量降到k维，k是PCA算法的一个参数，也被称为主成分的数量。那么现在就产生了一个问题，这个问题就是如何选择K，因为PCA要做的就是要尽量减少投射的平均均方误差，所以K的选择很关键。
每天五分钟机器学习:线性回归和非线性回归之间的区别？
huanfeng_AI的博客
07-22 2226
综上所述，线性回归和非线性回归之间的区别主要体现在模型形式、拟合能力、参数估计、预测能力和解释性等方面。线性回归适用于线性关系的数据，具有较好的解释性；非线性回归适用于非线性关系的数据，具有较强的拟合能力和预测能力。在实际应用中，根据数据的特点选择合适的回归模型是非常重要的。
每天五分钟机器学习：如何绘制ROC曲线？
huanfeng_AI的博客
10-29 2162
ROC 曲线，即平均操作特性曲线，是一种通过对不同决策阈值下的真阳性率（True Positive Rate，TPR）和假阳性率（False Positive Rate，FPR）进行绘制而得到的曲线。它反映了一个分类器或检测系统在不同阈值下的性能表现。真阳性率（TPR）也被称为灵敏度或召回率，是指被正确分类为阳性的样本数占实际阳性样本总数的比例。假阳性率（FPR）则是指被错误分类为阳性的样本数占实际阴性样本总数的比例。通过改变决策阈值，可以得到不同的 TPR 和 FPR 值，从而绘制出 ROC 曲线。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

幻风_huanfeng

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值