LDA、QDA和朴素贝叶斯

最新推荐文章于 2024-06-22 17:24:36 发布
最新推荐文章于 2024-06-22 17:24:36 发布
阅读量3.1k 收藏 34
点赞数 6
分类专栏： Business Statistics 文章标签： 概率论 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48988106/article/details/121192103
版权

文章目录

通俗来说，Discriminant Analysis就是通过分别对每个分类中的X的分布进行建模，再通过贝叶斯定理得到 P r ( Y ∣ X ) Pr(Y|X) Pr(Y∣X)。

当我们假设每个分类服从高斯分布（正态分布）时，得到的就是LDA（Linear Discriminate Analysis）或QDA（Quadratic Discriminate Analysis）

一、Linear Discriminant Analysis(LDA)

1. 贝叶斯定理

贝叶斯定理我们在高中就有过接触，其公式如下：
请添加图片描述
将上面的公式进行简单的变换得到下式：
请添加图片描述
f k ( x ) = P r ( X = x ∣ y = k ) f_k(x)=Pr(X=x|y=k) fk​(x)=Pr(X=x∣y=k)为在结果发生的条件下，原因为X的概率；
π k = P r ( Y = k ) \pi_k=Pr(Y=k) πk​=Pr(Y=k)为结果为k的概率。

由于对于所有x， f k ( x ) = P r ( Y = k ∣ X = x ) f_k(x)=Pr(Y=k|X=x)

最低0.47元/天 解锁文章
elsie77
关注
  • 6
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
线性判别分析（LDA），二次判别分析（QDA）和正则判别分析（RDA）
weixin_34283445的博客
05-06 1万+
判别分析包括可用于分类和降维的方法。线性判别分析（LDA）特别受欢迎，因为它既是分类器又是降维技术。二次判别分析（QDA）是LDA的变体，允许数据的非线性分离。最后，正则化判别分析（RDA）是LDA和QDA之间的折衷。 本文主要关注LDA，并探讨其在理论和实践中作为分类和可视化技术的用途。由于QDA和RDA是相关技术，我不久将描述它们的主要属性以及如何在R中使用它们。 线性判别分析 LDA是...
分类——LDA、QDA
github_29374279的博客
07-23 9114
LDA（Linear Discriminant Analysis） 模型： Pr(Y=k|X=x)=πkfk(x)∑kl=1πlfl(x)Pr(Y=k|X=x)=\frac {\pi_k f_k(x)} {\sum_{l=1}^k \pi_l f_l(x)} 假设：第k类的观测值来自于多元高斯分布N(μk,Σ)\mathcal {N}(\mu_k,\Sigma ) 即： fk(x)=Pr(X
第四章分类问题
最新发布
lzf的博客
06-22 1324
线性判别分析是一种用于分类和降维的技术。LDA假设各类别的协方差矩阵是相等的，因此其决策边界是线性的。二次判别分析是LDA的扩展，允许各类别有不同的协方差矩阵，因此其决策边界是二次的。
LDA and QDA
piaoyu94的博客
12-01 475
1， 点击打开链接 2. LDA http://personal.psu.edu/jol2/course/stat597e/notes2/lda.pdf http://www.dataivy.cn/blog/%E7%BA%BF%E6%80%A7%E5%88%A4%E5%88%AB%E5%88%86%E6%9E%90linear-discriminant-ana
机器学习-QDA&LDA
cjianwyr的博客
02-07 1万+
前在文章[机器学习-Bayesian概念学习，简书]中介绍了概念学习，即将一个概念与这个概念包含所有实例的集合等同，通过属于这个集合的数据来学习这个集合可能是什么。也就是说，给定属于这个集合C的一些数据D，我们希望估计一个未知的x属于集合C的概率，换个角度看，也就是估计x属于C的概率和x属于C的补集的概率。假如我们考虑多个集合C1,...Ck，则指标1,...,k可以看做label，给定带labe
分类问题——判别分析（LDA、QDA）
qq_57082933的博客
11-15 5648
每天进步一点点——分类问题之判别分析
二、1.1 LDA&QDA 线性判别分析和二次判别分析（w14）
lim18719266191的博客
12-04 416
ppt：北师大王宁老师课程ppt全称：Linear Discriminant Analysis and Quadratic Discriminant Analysis 线性判别分析和二次判别分析判别分析有两个作用，一个是降维dimensionality reduction，另一个是分类classifier。就是说这个方法可以将多维数据投射到低维平面，并且还能使得我们的数据类别非常好区分。
颜色分类leetcode-cnn-svm-classifier:使用Tensorflow和支持向量机创建图像分类引擎
07-06
高斯朴素贝叶斯 (GNB) 线性判别分析 (LDA) 二次判别分析 (QDA) 显示训练和验证时间，以及每个分类器的准确率。 大多数分类器都使用其默认调整值运行，但在可能的情况下，对那些其默认值远低于 90% 准确率的分类器...
机器学习和数据挖掘算法：机器学习算法Python [正在开发中]
02-04
机器学习和数据挖掘算法机器学习和数据挖掘算法的Python实现分类算法支持向量机旋转森林随机森林PCA LDA 朴素贝叶斯粒子群算法QDA 决策树知识网络功能选择随机森林BPSO包囊方法装袋艾达助推器梯度提升XG加速堆码
ML-lib:从头开始构建的广泛的机器学习库（Python）
05-11
朴素贝叶斯分类 高斯型 伯努利 原型方法 知识网络 LVQ 丹恩 感知器 无监督学习 K均值/媒介聚类 PCA 高斯混合 模型选择和验证 例子 为了可视化目的，二维显示了示例，但是，所有方法都可以处理高维数据。 回归 带...
GSMLBook:在 jupyter 中使用 sklearn 的基本机器学习算法的秘诀-开源
06-01
概率方法（KNN、朴素贝叶斯、QDA、LDA）； 用 PCA 降维； 支持向量机； 并使用 K-Means、分层和 DBScan 进行聚类。 附录提供了概率和线性代数的回顾。 虽然提供了一些数学基础，但它对于理解实现并不是必不可少的。...
matlab的欧拉方法代码-ML4STS:基于状态的机器学习
05-26
matlab的欧拉方法代码欢迎使用ML4STS！ 州与州之间的机器学习 该项目旨在根据状态对状态（STS）公式研究机器学习算法在解决高速（粘稠...NB-朴素贝叶斯 RF-随机森林 ET-极限树 GB-梯度提升 HGB-基于直方图的梯度增强 M
Python手写实现LDA与QDA算法
qq_39051660的博客
08-14 2614
近期实验室在上一门机器学习的讨论班，第一次作业中有一道题要求实现LDA算法与QDA算法，这里LDA部分参考了以下文章与教材，详细的推导在下面的文章里也有介绍： 机器学习算法推导&手写实现03——线性判别分析 《The Elements of Statistical Learning 》 QDA部分则是由LDA部分改装成的。LDA与QDA的区别就在于LDA的判别函数值为： δk(x)=xTΣ−1μk−12μkTΣ−1μk+log⁡πk.\delta_k(x) = x^T\Sigma^{-1}\mu
ISLR第四章-logistic LDA QDA
Halfopen的专栏
03-01 2617
ISLR第四章的理解为什么线性回归不可用通常，两个以上定性变量不能用线性回归建立模型 线性模型不能保证预测值在0，1之间The Logistic Model定义： logistic function p(X)=eβ0+β1X1+eβ0+β1X p(X)=\frac{e^{\beta_0+\beta_1X}}{1+e^{\beta_0+\beta_1X}} 定义：odds 发生比 p(X)
热销商品评论之情感分析案例 - 基于LDA、贝叶斯模型算法实现
热门推荐
weixin_42219368的博客
06-28 2万+
电商在我国的发展可谓是如火如荼，而且现在很多电商都取消了好评差评的分类，所有评论全部放到一起，查看起来比较繁琐。具体都有哪些因素影响了顾客的购物体验，又是哪些因素主导了顾客的评论呢？本文基于LDA主题模型，对电商网站热卖商品的评论进行了情感分析。
LDA和朴素贝叶斯相结合---图像分类
s151506879的博客
07-12 3618
通过LDA方法将原始空间转换成特征空间，然后再用朴素贝叶斯方法进行分类； 1)用LDA方法转换成特征空间，用 Deng Cai, Xiaofei He, Yuxiao Hu, Jiawei Han, and Thomas Huang,   %   "Learning a Spatially Smooth Subspace for Face Recognition", CVPR'200
R机器学习：分类算法之判别分析LDA,QDA的原理与实现
Codewar的博客
05-01 1680
判别分析的框框很大，今天给大家写写线性判别和二次判别，这两个是判别分析中最常见也是最基本的，希望能够给大家写明白。 首先给出判别分析的定义： Linear discriminant analysis (LDA) is a method used in statistics and other fields, to find a linear combination of features that characterizes or separates two or more classes of ob
LDA主题模型推导
qq_23174517的博客
07-01 561
LDA topic model 公式推导: p(w,z∣α,β)=p(w∣z,α,β)∗p(z∣α,β)p(w,z| \alpha,\beta)=p(w|z,\alpha,\beta)*p(z|\alpha,\beta)p(w,z∣α,β)=p(w∣z,α,β)∗p(z∣α,β) β\betaβ与z独立:p(z∣α,β)=p(z∣α)p(z|\alpha,\beta)=p(z|\alpha)p(...
lda和朴素贝叶斯的区别
04-21
LDA（Latent Dirichlet Allocation）和朴素贝叶斯（Naive Bayes）是两种常用的文本分类算法，它们的区别在于： 1. 工作原理不同：LDA是一种生成模型（generative model），通过寻找文档的潜在主题来建模，而朴素贝叶斯是一种判别模型（discriminative model），通过观察类别标签和文档的特征来建模。 2. 特征表示方式不同：LDA将文本看作一个词汇分布的一个集合，每个文档都由一些概率分布和一些主题组成，而朴素贝叶斯则是基于词袋模型，将文档看作一个词汇表的集合。 3. 隐变量的不同：LDA使用了一个隐变量——主题，通过主题的分布来反映文档的主题关系。而朴素贝叶斯则没有隐变量，直接使用词汇表中的词汇来分类。 4. 分类性能上的不同：LDA在文本分类中表现较好，但是它的训练速度比朴素贝叶斯要慢很多，需要更多的存储空间；而朴素贝叶斯由于其简单、快速的训练过程，在实际应用中也表现不错。 总之，LDA和朴素贝叶斯是两种不同的文本分类算法，在实际应用中需要根据具体的问题和数据集进行选择。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值