线性判别分析LDA的数学原理（二）

最新推荐文章于 2023-02-24 21:36:01 发布
最新推荐文章于 2023-02-24 21:36:01 发布
阅读量1.8k 收藏 6
点赞数 2
分类专栏： 模式识别课程算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shenziheng1/article/details/60467527
版权
本文对比了PCA和LDA在分类任务上的差异，重点探讨了LDA的线性预测能力和其局限性，包括最多能生成类别数减一维的子空间，对非高斯分布样本处理不佳，以及在依赖方差而非均值的分类信息时的效果问题。
摘要由CSDN通过智能技术生成

1.关于PCA和LDA分类对比

PCA是无类别信息，不知道样本属于哪个类，用PCA通常对全体数据操作。LDA有类别信息投影到类内间距最小&&类间间距最大。
首先我们应该明白这两个算法的原理是不一样的，PCA是选择投影后使得整个数据方差最大的方向来投影，假设就是方差越大，信息量越多，PCA是一种无监督算法，没有类别信息。而LDA是选择投影后使得类内方差小而类间方差大的方向来投影，用到了类别信息，所以选择用哪种算法来降维应该是根据具体的目的和场景来的，如果目的就是分类，那么显然LDA的选择标准更合理，如果没有类别信息（无监督），那就只能选PCA，总之，两者选择投影的方向的标准是不一样的，看哪个和你的需要
最低0.47元/天 解锁文章
沈子恒
关注
专栏目录
线性判别分析LDA(linear discriminant analysis)与二次判别分析QDA(quadratic discriminant analysis)
weixin_44145222的博客
04-06 2290
文章目录LDA与PCALDA python实现 Source: Python Machine Learning 3rd LDA与PCA LDA和PCA都用于数据维度降低 LDA可以视为比PCA高级的分类技巧，但在实践情况下，使用PCA比使用LDA在图像识别等领域表现更好 LDA用于监督学习，而PCA用于非监督学习 PCA寻找最大方差的正交分量轴，LDA寻找优化分类的特征子空间 LDA pyt...
费雪LDA线性判别分析的基本原理
11-28
本文通过数学的推理验证了LDA的分类准则，通俗易懂，比网络上的好多了
线性判别分析（LDA）学习笔记
wolfrevoda的专栏
07-25 1828
线性判别分析线性判别分析又称为Fisher判别分析，因为其最早是由Fisher提出来处理二分类问题。线性判别分析的思想非常的简单，其就是要确定一条直线，当所有样本点投影到该条直线上的时候，能够保证同类样本的投影点尽可能集中，而不同类的样本的投影点则相聚较远。当有一个新样本来的时候，可以将该样本投影到这条直线上并归类到最近的类别中心所在类。 假设我们现在样本点归属于两个类A和B，这两类样本的均值向量
（《机器学习》完整版系列）第6章 支持向量机SVM——6.5 核对率回归和核线性判别分析
最新发布
qiy_icbc的博客
02-24 480
核函数特征映射推广到更一般的情形，除了SVM和SVR中使用核方法进行扩充外，这里再讨论核对率回归和核线性判别分析。 用核方法扩展LDA算法形成核线性判别分析KLDA算法
LDA核心理解
swiftshunfeng的博客
07-01 367
LDA（主题模型）：核心算子 P(词|文档)=P（词|主题）P（主题|文档） 用表达式如下：P(w|d)=P(w|t)∗P(t|d) 理解：就是生成一篇文章有这样一种方法：：有多个主题，每个主题下有很多的词（我们就是靠这些词语生成文章）。。我们先给每个主题一个用到的概率，再在在每个主题下按以一定概率来挑选单词，就组成了一篇文章。 ...
核函数与核方法整理
越开源越幸运
10-05 7444
​ 目录 SVM回顾 严格线性可分问题 近似线性可分 严格非线性可分 核函数 什么是核函数 如何使用核函数 为什么要用核函数 核⽅法 常用符号 KLDA SVM KPCA MMDE ​
Fisher算法线性判别分析python实现
04-01
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的统计方法，常用于多类别的分类问题，尤其在高维数据降维时表现出色。Fisher算法，即Fisher判别分析，由R.A. Fisher提出，是LDA的基础。本教程将...
LDA.zip_线性判别分析
09-23
在"线性判别分析.pdf"这个文件中，可能会详细讲述LDA的原理，包括数学公式、步骤解释、实例演示以及如何在Python等编程语言中实现LDA。此外，文件可能还会讨论LDA与其他降维方法的比较，以及如何评估和解决LDA的局限...
数学基础（三）PCA原理与推导
Billie使劲学的博客
08-08 1322
u向量的方向已经确定，我们将样本点映射到u向量上，显然右图的误差要比左图大许多，因此我们就需要先对样本进行中心化，使之分布于原点O附近。即计算所有样本点的均值（x的均值，y的均值），然后将每个样本点减去这个均值，就得到了中心化之后的样本。......
基于鸢尾花数据集实现线性判别式多分类
12-21
基于鸢尾花数据集实现线性判别式多分类 本文在自己编写梯度下降的逻辑斯蒂判别式算法的基础上，对鸢尾花数据集实现多分类。 鸢尾花数据集公包含三类数据，每条数据四个特征，从中随机选取70%的数据作为训练集，30%的数据作为测试集。 主要包含三个函数：随机生成70%测试集函数、训练函数、预测函数 随机生成70%测试集函数 randomdata 输入：无 输出：0-49之间的35个随机数 代码： def randomdata(): array = set() while(len(array) < 50*0.7): n = random.randint(0,49)
PCA数学推导过程
03-19
PCA降维过程的数学简单推导
pca的数学原理
03-08
如果你想学习pca，这个请不要错过
史上最好的LDA(线性判别分析)教程
jnulzl的专栏
11-17 9万+
一、前言最近由于研究需要，要用到线性判别分析(LDA)。于是找了很多资料来看，结果发现大部分讲的都是理论知识，因此最后还是看的一知半解，后来终于找到了个英文的文档，作者由PCA引入LDA，看过后豁然开朗，主要是文档中有详细的例子，为了保持原版在此就直接粘贴过来了——后面的例子是结合MATLAB实现的！二、LDA理论详解 三、LDA实例详解下面是作者文档中配的
机器学习降维算法二：LDA（Linear Discriminant Analysis）
weixin_30786617的博客
11-21 433
额距离上一篇blog已经有很长的时间了，之前一直在忙着做一个工作，最近告一段落，还是要写blog啊！很多基础知识有些遗忘了，也算作是一种复习。我尽量推导的关键的地方写写，建议大家还是要手动推一推公式增加理解。 Linear Discriminant Analysis (也有叫做Fisher Linear Discriminant)是一种有监督的（supervised）线性降维算法。与PCA...
主成分分析PCA和核化线性降维kernel PCA
积小流成江河
08-04 7783
前言 主成分分析（Principal Component Analysis）是最常用的一种降维方法。以前经常用PCA用来特征的降维，但对原理和实现方法理解的不透彻，用起来心里没底，这几天有空总结一下PCA的原理。 原理 在正交属性空间中的样本点，如何使用一个超平面对所有样本进行恰当的表达？这样的超平面应该有这样的性质： 最近重构性：样本点到这个超平面的距离足够近（尽量少的信息损失） 最大...
Python-线性判别分析（Fisher判别分析）使用鸢尾花数据集 Iris
君琴 的博客
05-06 9061
本博客运行环境为Jupyter Notebook、Python3。使用的数据集是鸢尾花数据集。 目录线性判别分析代码实现 线性判别分析 线性判别分析(Linear Discriminant Analysis,简称LDA)是一种经典的线性学习方法，在二分类问题.上因为最早由[Fisher, 1936]提出,亦称“Fisher判别分析”。 LDA的基本思想:给定训练样例集,设法将样例投影到一条直线上,...
学习笔记（十）：PCA投影
a_beatiful_knife的博客
07-14 1932
本文目标： PCA方法寻找CSI商序列的最大投影方向： 输入：30个子载波上的CSI商 输出：30个子载波各自的最大投影方向 p(θ)⃗=[cos(θ)    sin(θ)]\vec{p(\theta)}=[cos(\theta) \,\,\,\, sin(\theta)]p(θ)​=[cos(θ)sin(θ)] 目录1. PCA原理2. PCA用于寻找CSI商的最大投影 1. PCA原理 背景概述：   在多变量大数据集的背景下，许多变量存在相关性，要想既完全利用数据中的信息又降低分析的复
主成分分析（PCA）原理详解
热门推荐
李春春的专栏
03-04 46万+
机器学习中有关特征选择的问题，其实就是要剔除和类标签无关的特征，去除噪声或者冗余。在这种情况下，需要一种特征降维的方法来减少特征数，减少噪音和冗余，减少过度拟合的可能性。PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。现在的问题是，对于很高维数据，你能想象其分布吗？就算能描述分布，如何精确地找到这些主成分的轴？如何衡量你提取的主成分到底占了整个数据的多少信息？所以，我们就要用到主成分分析的处
线性判别分析（LDA）：降维与分类
"本文主要介绍了线性判别分析（LDA），一种用于降维和分类的监督学习方法。LDA的主要思想是通过投影使类内方差最小化，类间方差最大化，从而达到区分不同类别的目的。文章详细阐述了LDA的基本原理，包括二类LDA的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值