LDA推导（手算）

最新推荐文章于 2022-08-14 19:06:47 发布
最新推荐文章于 2022-08-14 19:06:47 发布
阅读量227 收藏
点赞数 1
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46210893/article/details/121113199
版权

在这里插入图片描述

霊神之殇
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
主题模型（LDA）(二)-公式推导
多元思考力
12-06 6545
上一篇文章讲解了LDA的通俗理解，基本没有用任何公式，还给了用gensim做邮件分类的案例，详情请戳：主题模型（LDA）(一)这篇文章看一下公式式怎么推导出来的。正经的LDA，主要有以下几个方面： 一个函数：gamma函数 四个分布：二项分布，多项分布，beta分布，狄利克雷分布 一个概念一个理念：共轭先验与贝叶斯框架 pLSA,LDA 一个采样：Gibbs采样 我们来看一下它是怎么推导出来的。
LDA分类器 python
weixin_41984456的博客
10-24 826
线性判别分析（Linear Discriminant Analysis, LDA）是一种经典的线性学习方法，思路是将两种数据投影到一条直线上，使这两种数据之间尽可能远离，且同类数据尽可能聚集在一起。原理：利用LDA分类器，将数据在低维度进行投影，并希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大；（4）求出第三步的矩阵的特征值和特征向量，按从小到大的顺序选择前d个特征值和对应的特征向量，从而求得投影矩阵W。（5）对样本集中的每一个样本特征xi，转化为新的样本。
降维：LDA推导及iris实例
qq_43610614的博客
08-11 2952
降维：LDA推导及iris实例
手推LDA(线性判别分析）
YANGJINCHAHAHA的博客
08-16 270
LDA算法推导
yy031的博客
11-02 381
在进行具体推导之前，首先明确一个概念——瑞利商，有助于之后推导。 对于数据集D={(x1,y1),(x2,y2),…,((xm,ym))} ,其中任意样本xi为n维向量，yi∈{0,1}。 Nj(j=0,1)为第j类样本的个数， Xj(j=0,1)为第j类样本的集合， μj(j=0,1)为第j类样本的均值向量， Σj(j=0,1)为第j类样本的协方差矩阵 对于下式初学者应该加深理解 对于刘建平博客中对于LDA算法流程的总结，课上指出下图有错误 故求哪一个的特征值都可行 ...
（三）线性判别式分析LDA
Billie使劲学的博客
08-14 599
我们的最终目的就是，最小化，最大化。我们构建下述公式，求 J 的最大值。其中求最大值我们应用的拉格朗日乘子。我们使得，则该方程变为Tu = λu，该问题就转变为特征值和特征向量的问题，从而得到 u 和 λ。......
【机器学习之LDA主题模型】
m0_62571112的博客
05-05 7432
简单讲述LDA主题模型
LDA模型公式的推导
10-30
LDA模型的公式的推导过程，非常详细易懂
线性判别分析LDA（（公式推导+举例应用））
01-09
无
LDA数学八卦
04-26
数学推导较多
lda_lda_
09-29
lda算法在人脸识别上的应用，包括几种源代码等。
SpectralLDA:光谱LDA
05-11
光谱LDA 注意：这是单主机版本，有关最新和分布式版本，请参考[ ]。 这段代码为Python中的潜在Dirichlet分配模型实现了Spectral（三阶张量分解）学习方法。 频谱学习方法适用于来自数据集中任何文档的单词对或单词...
降维原理篇之手推PCA（主成分分析）和LDA（线性判别分析）公式
qq_40605139的博客
07-15 815
PCA和LDA求解过程虽然有着很大的相似性，但对应的原理却有所区别： PCA选择的是投影后数据方差最大的方向。由于它是无监督的，因此PCA假设方差越大，信息量越多，用主成分来表示原始数据可以去除冗余的维度，达到降维。而LDA选择的是投影后类内方差小、类间方差大的方向。其用到了类别标签信息，为了找到数据中具有判别性的维度，使得原始数据在这些方向上投影后，不同类别尽可能区分开。...
LDA 线性判别分析
热门推荐
porly的专栏
09-26 4万+
1. LDA是什么 线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。 基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样
线性判别分析LDA原理总结
zhyw0601的博客
04-07 3861
转自http://www.cnblogs.com/pinard/p/6244265.html 　在主成分分析（PCA）原理总结中，我们对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有
线性判别分析(Linear Discriminant Analysis, LDA）算法分析
脚踏实地
06-13 1746
LDA算法入门 一． LDA算法概述： 线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特
lda算法
bryantao24的专栏
03-21 1626
http://blog.baifendian.com/?p=1042； 个性化推荐引擎：采用一种高效的算法来估计贝叶斯模型中的参数 Posted on 2012 年 5 月 25 日 by admin 问题定义： LDA是一个三层次的贝叶斯模型，没一个item可以通过一组topic来表示，而每个topic又符合一定的概率分布。本文的LDA算法应用比较广泛，可应用
LDA算法详解
啊李
06-26 5215
#转载链接点击打开链接
基于EasyX的贪吃蛇小游戏 - C语言
最新发布
06-05
基于EasyX的贪吃蛇小游戏 - C语言
LDA决策边界公式推导
01-09
LDA（线性判别分析）是一种常用的模式识别和机器学习算法，用于将样本投影到低维空间以实现分类。LDA的决策边界公式可以通过以下步骤推导得到： 1. 假设每个分类服从高斯分布且方差矩阵相同。对于第k个类别，其高斯分布的概率密度函数为： ![equation1](https://latex.codecogs.com/gif.latex?p(x|y=k)&space;=&space;\frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}}e^{-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k)}) 其中，x是一个d维的样本向量，μk是第k个类别的均值向量，Σ是所有类别的协方差矩阵。 2. 根据贝叶斯定理，我们可以计算后验概率p(y=k|x)，即给定样本x的情况下，它属于第k个类别的概率。根据贝叶斯定理，后验概率可以表示为： ![equation2](https://latex.codecogs.com/gif.latex?p(y=k|x)&space;=&space;\frac{p(x|y=k)p(y=k)}{p(x)}) 其中，p(x)是样本x的边缘概率。 3. 为了进行分类，我们可以选择具有最大后验概率的类别。即，对于给定的样本x，我们选择使得p(y=k|x)最大的k值。 4. 为了简化计算，我们可以取对数并忽略与x无关的常数项。这样，我们可以将决策边界表示为： ![equation3](https://latex.codecogs.com/gif.latex?g(x)&space;=&space;\log(p(y=1|x))&space;-&space;\log(p(y=2|x))&space;=&space;x^T\Sigma^{-1}(\mu_1-\mu_2)&space;-&space;\frac{1}{2}(\mu_1^T\Sigma^{-1}\mu_1&space;-&space;\mu_2^T\Sigma^{-1}\mu_2)&space;+&space;\log\left(\frac{p(y=1)}{p(y=2)}\right)) 其中，g(x)是一个关于x的线性函数，决策边界是g(x)=0。 5. 如果我们假设每个类别的先验概率相等（即p(y=1)=p(y=2)），那么决策边界可以进一步简化为： ![equation4](https://latex.codecogs.com/gif.latex?g(x)&space;=&space;x^T\Sigma^{-1}(\mu_1-\mu_2)&space;-&space;\frac{1}{2}(\mu_1^T\Sigma^{-1}\mu_1&space;-&space;\mu_2^T\Sigma^{-1}\mu_2)) 至此，我们推导出了LDA的决策边界公式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值