LDA（Fisher判别）

最新推荐文章于 2022-10-10 20:55:17 发布
VIP文章 最新推荐文章于 2022-10-10 20:55:17 发布
阅读量739 收藏 1
点赞数
分类专栏： 【分类方法】 【机器学习】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014203453/article/details/77886613
版权

核心思想

现在要找一个直线，如何将这两个类最大限度的分开，直观的如果找一个投影法相，就像下面两个图，右边的结果更好：

它阐述了一个怎样的准则：

类间最大，类内最小！

类内最小

在一个类中来说，每一个样本要尽可能地靠近类地中心，类的中心在哪？

mi=1Ni∑xj∈Xi
最低0.47元/天 解锁文章
残阳摧雪
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
线性分类器之Fisher线性判别
Rainbow0210的博客
10-22 2万+
在前文《贝叶斯决策理论》中已经提到，很多情况下，准确地估计概率密度模型并非易事，在特征空间维数较高和样本数量较少的情况下尤为如此。 实际上，模式识别的目的是在特征空间中设法找到两类（或多类）的分类面，估计概率密度函数并不是我们的目的。 前文已经提到，正态分布情况下，贝叶斯决策的最优分类面是线性的或者是二次函数形式的，本文则着重讨论线性情况下的一类判别准则——Fisher判别准则。为了避免陷入复杂
机器学习——LDA
yaochen2507的博客
06-22 1187
步骤： 1 计算类内散度矩阵 2 计算类间散度矩阵 3 计算矩阵 4计算矩阵的最大值的d个特征值 5 计算d个特征值对应的d个特征向量，计算投影矩阵为W 6 输出新样本集={(p1,y1),(p2,y2)...(pm,ym)} 具体推导： 定义： j 类样本个数 j 类样本集合 j 类样本均值j 类协方差矩阵 均值 ...
计算类内散度矩阵和类间散度矩阵实例
m0_62879974的博客
10-10 9425
计算类内散度矩阵和类间散度矩阵实例
2020-05-07
耶耶耶的博客
05-07 593
人工智能与机器学习第10周 在理解Fisher线性分类的参考文件的代码基础上（matlab代码），改用python代码完成Fisher判别的推导。重点理解“群内离散度”（样本类内离散矩阵）、“群间离散度”（总类内离散矩阵）的概念和几何意义 基本概念 “群内离散度”要求的是距离越远越好;而"群间离散度”的距离越近越好由.上可知:“群内离散 度”(样本类内离散矩阵)的计算公式为因为每一个样本有多维数据...
机器学习：Linear Discriminant Analysis（过程详解+实例代码MATLAB实现
ニャンコちゃん的博客
10-28 6424
目录LDA概念线性判别分析（LDA）-二分类举个例子线性判别分析-多分类Experiment 3: Linear Discriminant AnalysisLDA二分类讲解LDA二分类代码LDA多分类讲解LDA多分类代码 LDA概念 线性判别分析（Linear Discriminant Analysis）是一种有监督学习的降维方法，用于找到分隔两个或多个对象类的特征的线性组合。 也就是给定有标签的数据集，利用LDA实现一个较好的分类。谈及分类，那么就说一说特征提取： 特征提取（维数约简/特征约简）是指将原始
协方差矩阵与散度矩阵的意义
weixin_41580067的博客
02-23 3556
在机器学习模式识别中，经常需要应用到协方差矩阵C和散度矩阵S。如在PCA(Principal Component Analysis)主成分分析中，需要计算样本的散度矩阵，有的论文是计算协方差矩阵。实质上两者意义差不多，散度矩阵乘以1/(n-1)就可以得到协方差矩阵了。 在模式识别中，散度矩阵也称为散步矩阵，有的也称为类内离散度矩阵或者类内离差阵，用一个等式关系可表示为： 散度...
Fisher_lda_线性判别分析_
10-02
线性判别分析（LDA）：将高维的样本投影到最佳鉴别矢量空间，来达到抽取分类信息和压缩特种空间维数的效果，投影后保证样本在新的子空间有最大的类间距离和最小的类内距离。
LDA_线性判别法（LDA）_
10-02
线性判别分析（linear discriminant analysis），LDA。也称为Fisher线性判别（FLD）是模式识别的经典算法。（1）中心思想：将高维的样本投影到最佳鉴别矢量空间，来达到抽取分类信息和压缩特种空间维数的效果，投影...
Fisher算法线性判别分析python实现
04-01
Fisher算法python实现含训练集和测试集，Fisher算法也叫Fisher判别分析，或线性判别分析（LDA）
LDA-线性判别分析
12-06
(Linear discriminant analysis (LDA) is a generalization of Fisher s linear discriminant, a method used in statistics, pattern recognition and machine learning to find a linear combination of features ...
Fisher-LDA
01-12
Fisher Linear Discriminant Analysis 英文文档 MaxWelling Department of Computer Science University of Toronto 10 King’s College Road Toronto, M5S 3G5 Canada [email protected]
计算三组不同类数据的均值方差，并计算它们的类间离散度
11-09
一个初步的fisher准则算法，可以得到类间离散度和各类的均值，方差，最值。目前能算三维的。
类间散度矩阵和类内散度矩阵
热门推荐
心旷神怡
08-03 3万+
python计算矩阵的散度_计算类内类间散度矩阵（附代码）
weixin_39709674的博客
12-19 2618
classcompute_scatter_matrix(object):def__init__(self,X,labels):self.X=Xself.labels=labelsdefcompute_scatter(self):meanAll=np.mean(self.X,axis=0)St=np.dot((self.X-meanAll).T,(self.X-meanAll)...
2020-12-11
weixin_43559088的博客
12-11 252
LDA（线性判别分析）降维最多只能降到’类别数-1’维 因为在LDA算法中需要计算类间散度矩阵Sb和类内散度矩阵Sw。 原数据降维到W，有n行d列，矩阵W的列是Sw−1SbSw^{-1}SbSw−1Sb的特征向量，因为Sb的秩最大为k-1，最多有k-1个特征向量，所以W最多有k-1列 ...
类内距离与类间距离
qq_36979522的博客
04-23 2万+
初识类内距离与类间距离 一、定义 类内距离：同一类各模式样本点间的均方距离 类间距离：顾名思义不同类间的距离 二、计算公式 1.类内距离： 2.类间距离 ...
机器学习 LDA线性判别分析(Python实现)
BTboay
06-18 9302
LDA线性判别分析的思想十分简单，将给定的训练样例集投影到一条直线上，我们希望投影过后，不同类的数据点尽量远离，同类数据点尽量聚合。设Xi表示i类数据的集合i∈(0,1)，μi为i类数据集合的均值向量 类内散度的定义： 使用方差来度量类内的离散程度，因为都是向量表示形式，所以平方和用向量乘向量的转置表示 类间散度矩阵： 使用均值的方差表示两种数据类之间的离散程度 我们要...
Fisher判别
weixin_43913556的博客
04-07 7822
文章目录距离判别法欧氏距离马氏距离关于协方差矩阵Fisher判别分析应用步骤：核心思想具体步骤解释Fisher准则函数：投影降维组间偏差组内偏差求出最优解 距离判别法 距离判别法首先根据已知分类的数据，分别计算出各类的重心。再根据新个体到每类的距离（即新个体与各类重心的距离，可采用欧氏距离或者马氏距离等等），根据最短的距离确定分类情况。 问题描述： 欧氏距离 Note: 第一个等式是矩阵的写法...
人工智能学习笔记 Fisher 线性分类器的设计与实现 实例1
qq_53680405的博客
11-01 2610
学习来源： 线性判别分析LDA原理总结 - 刘建平Pinard - 博客园 Fisher 线性分类器的设计与实现_海绵的博客-CSDN博客 一、实验内容 二、基本思想 若把样本的多维特征空间的点投影到一条直线上，就能把特征空间压缩成一维。那么关 键就是找到这条直线的方向，找得好，分得好，找不好，就混在一起。因此 fisher 方法目标 就是找到这个最好的直线方向以及如何实现向最好方向投影的变换。这个投影变换恰是我们 所寻求的解向量 ，这是 fis...
LDA和Fisher LDA有什么区别
最新发布
08-09
### 回答1： LDA(Latent Dirichlet Allocation)是一种用于文本数据的主题模型, 它可以将一组文档划分成若干个主题, 并且每个主题都有一组代表性的词. 它通过计算文档中词出现的频率来建立主题模型. Fisher LDA是一种用于分类的线性判别分析(Linear Discriminant Analysis, LDA)方法, 它通过计算各类样本的均值向量和协方差矩阵来建立分类模型, 并且可以将数据投影到一个低维空间上进行分类. 总的来说, LDA是一种用于文本数据的主题模型, 而Fisher LDA是一种用于分类的线性判别分析方法, 它们的应用领域不同, 方法也有所差别. ### 回答2： LDA（Latent Dirichlet Allocation）是一种常用的主题模型，用于在文本中发现潜在的主题及其之间的关系。LDA通过对文本进行建模，将文本转化为主题的集合，每个主题表示了一系列词汇的概率分布。LDA主要用于无监督学习，可以帮助研究人员挖掘文本数据中隐藏的主题信息。 相比之下，Fisher LDA（Fisher Linear Discriminant Analysis）是一种用于模式分类的监督学习方法。它通过将特征空间中的数据投影到低维子空间，最大化类间间隔，并最小化类内散布，从而使得数据在降维后更容易被分类器分开。Fisher LDA主要用于特征提取和分类任务，特别适用于面对多个类别的情况。 总的来说，LDA用于主题建模和文本挖掘，无需已知类别的标签，而Fisher LDA则用于模式分类，需要已知类别的标签来实现监督学习。此外，LDA的目标是找出不同主题之间的相似性，而Fisher LDA的目标是找出不同类别之间的差异性。因此，在应用和目标上，LDA和Fisher LDA存在着明显的区别。 ### 回答3： LDA（Latent Dirichlet Allocation）是一种无监督学习的主题模型算法，用于从文本中推断出隐藏主题的分布。它将文本看作是由多个主题混合而成的，通过统计概率分布来推断每篇文档的主题分布和每个主题词的分布。LDA主要用于文本挖掘和主题识别领域。 Fisher LDA（Linear Discriminant Analysis）是一种监督学习的降维算法，用于将高维特征空间转换成低维空间，并保留最重要的特征以实现分类任务的优化。它通过最大化类间距离和最小化类内距离的方式，找到一个低维投影子空间，使得同类样本尽可能接近，不同类样本尽可能远离。Fisher LDA主要用于模式识别和特征提取领域。 LDA和Fisher LDA的区别主要体现在以下几个方面： 1. 学习类型：LDA是无监督学习，不需要事先标注好的样本类别信息；而Fisher LDA是监督学习，需要已经标注好的样本类别作为训练数据。 2. 目标：LDA的目标是推断每个文档的主题分布和主题词的分布；而Fisher LDA的目标是找到最优的投影子空间，以最大化类间距离和最小化类内距离。 3. 适用领域：LDA主要用于文本挖掘和主题识别，在处理文本数据时比较常见；而Fisher LDA主要用于模式识别和特征提取，适用于任何类型的数据。 4. 数据输入：LDA的输入是文本集合，通过计算每个文档中的词频或 TF-IDF 来得到特征向量；而Fisher LDA的输入是样本集合，每个样本都有对应的特征向量和类别标签。 综上所述，LDA和Fisher LDA是不同类型的机器学习算法，应用于不同的领域，目标和输入数据不同。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值