线性判别分析LDA降维只能降到“类别数-1”的原因

最新推荐文章于 2023-05-30 23:19:05 发布
最新推荐文章于 2023-05-30 23:19:05 发布
阅读量4.2k 收藏 11
点赞数 5
文章标签： 线性判别分析 LDA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Programming_miao/article/details/89946951
版权

       关键点在于类间散度矩阵Sb的秩最大为“类别数-1”，所以在计算特征向量矩阵（类内散度矩阵Sw的逆×类间散度矩阵Sb）时，可以发现只有“类别数-1”个特征值不为零的特征向量。这点和PCA是不同的。

 

小Tip:被这个问题困扰了一天，以上是查阅资料+推导得出的结论，如果不对，欢迎指正哦~

Programming_miao
关注
  • 5
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
FLDA-2020线性判别分析_flda_费舍尔_费舍尔线性_费舍尔线性判别分析F-LDA_降维_源码
10-02
费舍尔线性判别分析（Fisher's Linear Discriminant Analysis，简称FLDA或LDA）是一种统计学方法，常用于高维数据的降维和分类。由英国统计学家Ronald Aylmer Fisher在1936年提出，它旨在找到一个线性的投影空间，...
机器学习笔记（十一）----降维
华为云官方博客
11-15 2136
机器学习中往往会遇到样本特征非常多的情况，往往成千过万，这对于机器学习是非常不利的，被称为维数灾难： 1、高维空间样本具有稀疏性，模型较难找到数据特征； 2、维度过高，导致计算量太大。 维度过高，那么就需要降维，另外一个途径则是特征选择。这两种方法目标都是减少特征维数，但在原理上不同，降维主要是将原始高维空间的点投影到一个低维空间，特征...
机器学习 | 降维：LDA
因为健忘，所以记点有的没的〒▽〒
05-30 3664
给定带有标签的训练样本集，设法将样本投影到一条直线上，使得同类样本的投影点尽可能近，异类样本的投影点尽可能远。
线性判别分析(LDA)原理及应用详解
AI蜗牛车
06-05 1万+
前置知识线性分类指存在一个线性方程可以把待分类数据分开，或者说用一个超平面能将正负样本区分开，表达式为 。线性分类器线性分类器就是用一个“超平面”将两个样本隔离开，如：二维平面上的两个样本用一条直线来进行分类；三维立体空间内的两个样本用一个平面来进行分类；N维空间内的两个样本用一个超平面来进行分类。常见的线性分类器有：LR，贝叶斯分类，单层感知机、线性回归，SVM（线性核...
机器学习之降维方法（LDA、PCA）小结
weixin_42028608的博客
01-02 5563
1 线性判别分析(LDA) LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。一句话来概括LDA的核心思想，【投影后类内方差最小，类间方差最大】。我们将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大，如下图所示 2.LDA原理及公式推导 目标函数已经得到，接下来是优化目标函数找到有一组最优鉴别矢量构...
特征变换以及维度下降——Linear Discriminant Analysis（一）
James Zhang's Blog
02-21 3131
线性判别分析（Linear discriminant analysis, LDA），是一种监督学习算法，也叫做Fisher线性判别（Fisher Linear Discriminant, FLD），是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。
LDA-原理解析
weixin_NineDays66
09-07 9万+
前言 在之前的一篇博客机器学习中的数学(7)——PCA的数学原理中深入讲解了，PCA的数学原理。谈到PCA就不得不谈LDA，他们就像是一对孪生兄弟，总是被人们放在一起学习，比较。这这篇博客中我们就来谈谈LDA模型。由于水平有限，积累还不够，有不足之处还望指点。下面就进入正题吧。 为什么要用LDA 前面的博客提到PCA是常用的有效的数据降维的方法，与之相同的是LDA也是一种将数据降维的方法。P...
LDA线性判别分析.ipynb
03-04
本代码提供了基于python sklearn库的LDA线性判别分析算法： 1.利用伪随机数生成测试数据，无需添加新样本 2.较详细地介绍了库函数各参数的含义
贝叶斯线性判别分析LDA_lda_贝叶斯判别分析LDA_线性判别分析_slabsmml_
10-01
贝叶斯线性判别分析（Bayesian Linear Discriminant Analysis，简称LDA）是一种统计方法，常用于数据的降维和分类。它基于贝叶斯定理，将线性判别分析（Linear Discriminant Analysis）与概率框架相结合，提供了一种...
lda线性判别分析分类_lda_分类器_线性判别分析_
09-30
线性判别分析（LDA，Linear Discriminant Analysis）是一种广泛应用的数据分析方法，主要用于特征降维和分类。在机器学习领域，LDA被用作一种监督学习的分类算法，尤其适用于多分类问题。本篇文章将深入探讨LDA的...
线性判别分析LDA算法代码
03-17
经典监督式学习降维方法线性判别分析LDA算法的MATLAB代码，具有降维性能好的特点，同时可以用于分类，是一种具有代表性的降维算法
【机器学习】二分类+多分类LDA线性判别分析降维算法的原理与推导
weixin_46564151的博客
03-06 3113
二分类+多分类LDA线性判别分析降维算法的原理与推导
机器学习——LDA（线性判别分析）与人脸识别
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
04-10 1万+
本篇博客主要介绍LDA(线性判别分析)算法并将LDA及其各种等价模型用于人脸的识别、图像降维可视化，并将LDA与PCA进行比较（内附数据集与matlab代码）
浅谈线性判别分析LDA
maum61的专栏
03-22 353
LDA浅显的核心是类内散度和类间散度矩阵，浅尝辄止的话，不可能明白最大化目标函数的意义。当你提出疑问：为什么是求协方差矩阵的行列式？为什么需要至少t+c个样本才能保证类内散度不是奇异的？奇异不奇异有什么关系呢？这时候就有必要进一步来领悟其中的道理。 为了解答这些疑问，我也是进一步去了解行列式的真正含义，单纯从理论上无法得知，然而结合行列式的几何意义，那一些都是那么的清晰直观。 以矩阵A为例，将每一个列向量认为是多边形的一条边，则det(A)就是多边形的面积。 矩阵有诸多用途，比如线性变换，将一
通俗易懂的LDA降维原理
LOLUN9的博客
05-23 6991
目录 例子 LDA降维 在前几篇的文章中，大管提到了PCA降维，有小伙伴私信说在实际情况中，效果不太好。那大管今天就和大家聊一聊另一种降维的方法线性判别分析 (LDA)。它目前也是机器学习领域中比较经典而且又热门的一种算法。 还记得在PCA中是怎样做的吗？简单来说，是将数据映射到方差比较大的方向上，最后用数学公式推导出矩阵的前TopN的特征向量，这里的方差可以理解为数据内部的离散程度。而LDA不同于PCA的是它是一种有监督的降维方法。下面举一个小例子来直观的说明PCA和LDA的不同降维方法...
LDA 线性判别分析(降维)——还没看懂
起飞的木木的博客
03-24 2855
转载自：http://www.cnblogs.com/pinard/p/6244265.html， https://blog.csdn.net/weixin_40604987/article/details/79615968介绍的比较详细 降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA） LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像...
降维方法-LDA线性判别分析
weixin_30731305的博客
01-28 2373
降维-LDA线性判别分析 【机器学习】LDA线性判别分析 1.LDA的基本思想 2.LDA求解方法 3.将LDA推广到多分类 4. LDA算法流程 5. LDA和PCA对比 【附录1】瑞利商与广义瑞利商 线性判别分析 (Linear Discriminant Analysis，LDA)是一种经典的线...
PCA：详细解释主成分分析
热门推荐
lanyuelvyun的博客
09-04 21万+
1 PCA目的/作用 主成分分析算法（PCA）是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度，同时保留住较多的原数据点的特性。 PCA降维的目的，就是为了在尽量保证“信息量不丢失”的情况下，对原始特征进行降维，也就是尽可能将原始特征往具有最大投影信息量的维度上进行投影。将原特征投影到...
matlab 线性判别分析降维
最新发布
10-10
在 MATLAB 中，可以使用 `fitcdiscr` 函数实现线性判别分析（LDA）进行降维。具体步骤如下： 1. 将数据划分为训练集和测试集。 2. 使用 `fitcdiscr` 函数拟合线性判别分析模型。 3. 使用训练集对模型进行训练，并...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值