LDA学习心得

最新推荐文章于 2024-09-17 17:29:40 发布
最新推荐文章于 2024-09-17 17:29:40 发布
阅读量413 收藏
点赞数 1
分类专栏： 机器学习心得
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013731743/article/details/40349443
版权
本文介绍了如何通过线性判别分析(LDA)进行类别区分，包括类内及类间离散度的计算，并给出了求解最优投影方向的具体步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

根据符号说明可得类i的样本均值为：

 …………………………………………………………………… （1）

同理我们也可以得到总体样本均值：

………………………………………………………………………… （2）

根据类间离散度矩阵和类内离散度矩阵定义，可以得到如下式子：

  ……………………………………………… （3）

http://hi.csdn.net/attachment/201004/11/47140_1270987769CK7K.png…………………………………… （4）

求W方法有两种

（1）

Fisher鉴别准则表达式：

求W使类内离散度最小，类间离散度最大

（2）

引入损失函数

表示LDA投影到w后的损失函数：

image

代入化简也可化为fisher鉴别表达式的形式，再利用拉格朗日子乘法（分母限制长度为1？），对W求导

 

最终都得到表达式Sbα=λSwα

解特征向量即为所求W

 

机器学习入门教程详细攻略 机器学习概述总结
10-10
参与机器学习社区和论坛，与同行交流学习心得。 二、监督学习 重点内容： 监督学习的定义与特点 线性回归与逻辑回归 支持向量机（SVM） 决策树与随机森林 K近邻算法（KNN） 如何学习： 通过编程实践...
LDA学习总结
a123456ei的专栏
04-02 1万+
今天晚上看了lda算法的原理，深感自己知识的缺乏啊（Dirichlet分布、多项分布、图模型、Gibbs抽样）。这也让我深感惭愧，早就意识到自己数学知识的缺乏，但是一直没有补一下。    好吧，简单来总结一下现在对lda的理解（还有很多的地方不理解）。    1、用途：    判断两个文档的关联程度使用的方法是查看两个文档中出现相同的单词的个数，就如TF-IDF，这种方法未能够找到隐藏到文本
LDA主题模型读书笔记（一）
gzt940726的博客
03-25 2058
前言 这几天在补主题模型LDA，看的我晕头转向的，最后梳理清楚思路后有以下几点感悟： LDA总的来看模型涉及到三方面：1.概率论知识；2.LDA自身的基本建模思想；3.Gibbs采样。 为什么看得头晕？是因为我们总是把这三方面知识杂糅在一起了，其实把这几方面分开缕清楚，同时不去钻一些牛角尖的话（Dirichlet分布和Gibbs采样理论推导等），问题就简单多了。 很多文章侧重在1和3上，却忽视了2，导致大家看了半天LDA都不知道目标函数是什么，其实这才是首要需要弄明白的。
LDA(线性判别分析)学习总结
sxx1214的博客
07-02 616
LDA是一种有监督的降维和分类算法，其主要思想是投影后类内方差最小，类间方差最大。 二分类情况 类间离散度定义为： (μ~1−μ~2)2=(wTμ1−wTμ2)2=wT(μ1−μ2)(μ1−μ2)Tw=wTSBw (\tilde \mu _1 - \tilde \mu _2 )^2 = (w^T \mu _1 - w^T \mu _2 )^2 = w^T (\mu _1 - \mu _2...
线性判别准则(LDA)与线性分类算法(SVM))
weixin_47554309的博客
11-01 2013
线性判别准则与线性分类算法一、线性判别分析简介二、线性判别分析原理1. 类内散度矩阵2. 类间散度矩阵3. 广义瑞利商三、Sklearn库实现线性判别分析四、SVM1. 简介2. 距离衡量标准五、SVM数据集进行可视化分类月亮数据集1. 线性SVM2. 多项式核3. 高斯核六、总计七、参考 一、线性判别分析简介 线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的有监督数据降维方法。 LDA的主要思想是将一个高维空间中的数据投影到一个较低维的空间中，且投影后要保
LDA主题模型学习心得
你不该把世界让给你所鄙视的人。
01-04 1万+
LDA主题模型LDA 简介 LDA模型：Latent Dirichlet Allocation是Blei 等人于2003年提出的基于概率模型的主题模型算法，它是一种非监督机器学习技术，可以用来识别大规模文档集或预料库中的潜在隐藏的主题信息。 LDA算法的核心思想：每篇文章由多个主题mix混合而成的，而每个主题可以由多个词的概率表征。该方法假设每个词是由背后的一个潜在隐藏的主题中抽取的。
机器学习--降维总结--PCA\LDA\SVD
小黎的学习总结的博客
03-02 824
本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！ https://zhuanlan.zhihu.com/p/77151308 周志华老师的西瓜书 百面机器学习 开始咯！ 降维 什么是降维呢，可以想象一个5 * 4矩阵乘以一个4 * 3 的一个矩阵，相当于对5 * 4的矩阵进行了线性变换，得到一个5 * 3的一个矩阵，他的维度就变成了5*3。 那么降维有什么好处呢，我们为什么要进行降维？在...
《机器学习》总结与心得
热门推荐
Sunning
08-03 2万+
目录 1、数据抽象 2、设定性能度量指标 3、数据预处理 4、选定模型 4.1、方法与目的 4.2、目的与方法 5、训练及优化 6、应用 这段时间把《机器学习》看了一遍，总的来说，除了前两章是基础，其余章节都是介绍模型方法，应用场景、理论推导、优化过程、算法等，每章都可独立阅读而不受其他章节影响。 如果只是每一章都看完，顶多就是了解了一种方法，相互之间是割裂的，这样当碰到一个实...
第二次机器学习心得
qq_39929557的博客
09-17 1036
主成分分析（PCA, Principal Component Analysis）：通过线性变换将数据转换到新的坐标系，使得新坐标系的第一主成分具有最大的方差，第二主成分具有第二大的方差，依此类推。- 层次聚类（Hierarchical Clustering）：通过创建一个聚类树来组织数据，可以是自底向上的聚合（凝聚）或自顶向下的分裂（分裂）。过拟合也很好理解，就比如举个例子：恋爱时如果一方的投入比另一方多，那么被投入的一方可能会反感，解决办法就是要么相互奔赴，要么互相留点空间，慢慢培养感情。
机器学习：线性判别分析从理论到公式推导（LDA）
Hanze的博客
03-23 980
机器学习：线性判别分析从理论到公式推导（LDA）数据定义理论概述与变量定义公式推导 数据定义 DataSet X：=(xi,yi)i=1N,令X的每个观测值xi∈Rp{(x_i,y_i)}_{i=1}^N,令X的每个观测值xi \in R^p(xi​,yi​)i=1N​,令X的每个观测值xi∈Rp，Y的每个元素yi∈Ry_i\in Ryi​∈R，我们继续化简，X=[x11x12...x1px21x22...x2p......xn1xn2...xnp](1) \left[ \begin{matrix} x_{
机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA)
weixin_34185320的博客
01-08 1252
版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com 前言： 第二篇的文章中谈到，和部门老大一宁出去outing的时候，他给了我相当多的机器学习的建议，里面涉及到很多的算法的意义、学习方法等等。一宁上次给我提到，如果...
LDA主题模型学习总结
kongkongqixi的博客
09-29 1万+
本篇主要总结隐含狄利克雷分布(Latent Dirichlet Allocation，以下简称LDA) 1.贝叶斯定理 贝叶斯定理是关于随机事件A和B的条件概率的定理。                                                                 在贝叶斯定理中： P(A|B)是在事件B发生的条件下事件A发生的条件概率，也由于得自B的取值而...
LDA（线性判别分析 )
weixin_41690708的博客
07-31 1171
　在主成分分析（PCA）原理总结中，对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。 思想： 　LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别...
机器学习中的矩阵求导的一点总结（三种方法求线性回归最佳参数）
promisejia
05-01 1万+
在实际机器学习工作中，最常用的就是实值函数 y 对向量 x或矩阵 X 求导，比如最简单的线性回归问题中由目标函数 dJ(w)dJ(w) dJ(w) 求解最佳参数向量 ww w 。 矩阵/向量求导问题中要明确是什么量对什么量求导，得到的是什么形式的量 实值函数对向量求导，结果是同样维度和方向的向量 实值函数对矩阵求导，结果是同样维度的矩阵 本文以线性回归问题中由目标函数 dJ(w)dJ...
MPLS之LDP协议
weixin_37945631的博客
03-18 2万+
MPLS需要使用标签分发协议完成标签的分配控制和保持，目前有很多种标签分发协议，LDP(Label Distribution Protocol）为其中之一，LSR之间可以使用LDP协议来交换标签信息。运行LDP协议的LSR之间通过交换LOp消息来发现邻居、建立和维护LOpSession并管理标签。LD叫肖息承载在UOP或下CP之上，端口号为646。这里简单介绍LDP常用的一些消息和各个消息的主要功...
机器学习中常见的几种损失函数
weixin_30378623的博客
12-31 815
　　 　　通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。 　　损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数...
NLP︱LDA主题模型的应用难题、使用心得及从多元统计角度剖析
素质云笔记
08-17 2万+
将LDA跟多元统计分析结合起来看，那么LDA中的主题就像词主成分，其把主成分-样本之间的关系说清楚了。多元学的时候聚类分为Q型聚类、R型聚类以及主成分分析。R型聚类、主成分分析针对变量，Q型聚类针对样本。 PCA主要将的是主成分-变量之间的关系，在文本中LDA也有同样的效果，将一撮词（变量）变成话题（主成分），同时通过画像主成分，可以知道人群喜欢什么样子的话题； Q型聚类代表样本之间的群落关系
JGibbLDA使用总结
uzY)&PHd!cqj
02-20 1万+
最近在做基于LDA（Latent Dirichlet Allocation）的文本分类处理，开始学习和接触了LDA，因为代码采用的是Java，所以我选择的LDA开源工具是JGibbLDA，这个是LDA的Java版本实现，下载地址为：http://jgibblda.sourceforge.net/ ，当前最新版本为v1.0。同时对应的C++版本为GibbsLDA，下载地址为：http://gibbs
tf-idf lda
最新发布
03-20
IDF同LDA一起工作不仅可以有效提升整体表现水平而且还能带来诸多附加好处诸如增强鲁棒性和可控性等方面均有体现值得深入探索研究下去寻找更多可能性空间拓展边界限制条件下的最佳实践路径方向指引未来发展方向趋势...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值