LDA学习心得

最新推荐文章于 2022-03-25 16:11:05 发布
最新推荐文章于 2022-03-25 16:11:05 发布
阅读量386 收藏
点赞数 1
分类专栏： 机器学习心得
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013731743/article/details/40349443
版权

根据符号说明可得类i的样本均值为：

 …………………………………………………………………… （1）

同理我们也可以得到总体样本均值：

………………………………………………………………………… （2）

根据类间离散度矩阵和类内离散度矩阵定义，可以得到如下式子：

  ……………………………………………… （3）

http://hi.csdn.net/attachment/201004/11/47140_1270987769CK7K.png…………………………………… （4）

求W方法有两种

（1）

Fisher鉴别准则表达式：

求W使类内离散度最小，类间离散度最大

（2）

引入损失函数

表示LDA投影到w后的损失函数：

image

代入化简也可化为fisher鉴别表达式的形式，再利用拉格朗日子乘法（分母限制长度为1？），对W求导

 

最终都得到表达式Sbα=λSwα

解特征向量即为所求W

 

桔北程序猿
关注
专栏目录
LDA主题模型学习心得
你不该把世界让给你所鄙视的人。
01-04 1万+
LDA主题模型LDA 简介 LDA模型：Latent Dirichlet Allocation是Blei 等人于2003年提出的基于概率模型的主题模型算法，它是一种非监督机器学习技术，可以用来识别大规模文档集或预料库中的潜在隐藏的主题信息。 LDA算法的核心思想：每篇文章由多个主题mix混合而成的，而每个主题可以由多个词的概率表征。该方法假设每个词是由背后的一个潜在隐藏的主题中抽取的。
机器学习--降维总结--PCA\LDA\SVD
小黎的学习总结的博客
03-02 783
本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！ https://zhuanlan.zhihu.com/p/77151308 周志华老师的西瓜书 百面机器学习 开始咯！ 降维 什么是降维呢，可以想象一个5 * 4矩阵乘以一个4 * 3 的一个矩阵，相当于对5 * 4的矩阵进行了线性变换，得到一个5 * 3的一个矩阵，他的维度就变成了5*3。 那么降维有什么好处呢，我们为什么要进行降维？在...
LDA学习总结
a123456ei的专栏
04-02 1万+
今天晚上看了lda算法的原理，深感自己知识的缺乏啊（Dirichlet分布、多项分布、图模型、Gibbs抽样）。这也让我深感惭愧，早就意识到自己数学知识的缺乏，但是一直没有补一下。    好吧，简单来总结一下现在对lda的理解（还有很多的地方不理解）。    1、用途：    判断两个文档的关联程度使用的方法是查看两个文档中出现相同的单词的个数，就如TF-IDF，这种方法未能够找到隐藏到文本
LDA主题模型读书笔记（一）
gzt940726的博客
03-25 2011
前言 这几天在补主题模型LDA，看的我晕头转向的，最后梳理清楚思路后有以下几点感悟： LDA总的来看模型涉及到三方面：1.概率论知识；2.LDA自身的基本建模思想；3.Gibbs采样。 为什么看得头晕？是因为我们总是把这三方面知识杂糅在一起了，其实把这几方面分开缕清楚，同时不去钻一些牛角尖的话（Dirichlet分布和Gibbs采样理论推导等），问题就简单多了。 很多文章侧重在1和3上，却忽视了2，导致大家看了半天LDA都不知道目标函数是什么，其实这才是首要需要弄明白的。
LDA(线性判别分析)学习总结
sxx1214的博客
07-02 537
LDA是一种有监督的降维和分类算法，其主要思想是投影后类内方差最小，类间方差最大。 二分类情况 类间离散度定义为： (μ~1−μ~2)2=(wTμ1−wTμ2)2=wT(μ1−μ2)(μ1−μ2)Tw=wTSBw (\tilde \mu _1 - \tilde \mu _2 )^2 = (w^T \mu _1 - w^T \mu _2 )^2 = w^T (\mu _1 - \mu _2...
机器学习：线性判别分析从理论到公式推导（LDA）
Hanze的博客
03-23 908
机器学习：线性判别分析从理论到公式推导（LDA）数据定义理论概述与变量定义公式推导 数据定义 DataSet X：=(xi,yi)i=1N,令X的每个观测值xi∈Rp{(x_i,y_i)}_{i=1}^N,令X的每个观测值xi \in R^p(xi​,yi​)i=1N​,令X的每个观测值xi∈Rp，Y的每个元素yi∈Ry_i\in Ryi​∈R，我们继续化简，X=[x11x12...x1px21x22...x2p......xn1xn2...xnp](1) \left[ \begin{matrix} x_{
lda主题评论文本python_利用python做LDA文本分析，该从哪里入手呢？
weixin_39653078的博客
12-14 895
前段时间做了新浪微博的主题划分，结果还可以，上传上来算是对之前的一个交代吧数据集：利用Gooseeker在新浪微博上爬取了2161个用户，包括这些用户间21368条相互间的关注关系，爬取了2161个新浪微博发布的微博数，粉丝数和关注数，单个用户最近发布的300条微博，包括微博文本内容、微博的评论数和转发数。数据预处理：1)将单个用户发布的300条微博整合成一个文档2)对文档进行噪音处理，去除‘@某...
大数据比赛的总结和心得体会..zip
最新发布
11-07
以下是我在大数据比赛中的总结和心得体会。 1. 数据预处理：数据是所有分析的基础，预处理工作至关重要。这包括清洗（去除异常值、缺失值处理）、转换（标准化、归一化）、编码（类别变量的one-hot编码）等步骤。在...
机器学习的一些感悟（一）
meihao5的博客
03-10 7891
          自己研究方向的社交网络，会用到一些机器学习的方法，本身自己也很感兴趣，从去年开始就开始了学习，学习经历和相关资料，代码见GitHub主页：https://github.com/lovesoft5/ml         学习机器学习大半年了，下面是自己整理的一些心得笔记         机器学习广泛应用于计算机视觉，自然语言处理，信息检索，推荐等领域，因为涉及面太广，现在并没有一...
机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA)
weixin_34185320的博客
01-08 1216
版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com 前言： 第二篇的文章中谈到，和部门老大一宁出去outing的时候，他给了我相当多的机器学习的建议，里面涉及到很多的算法的意义、学习方法等等。一宁上次给我提到，如果...
LDA主题模型学习总结
kongkongqixi的博客
09-29 1万+
本篇主要总结隐含狄利克雷分布(Latent Dirichlet Allocation，以下简称LDA) 1.贝叶斯定理 贝叶斯定理是关于随机事件A和B的条件概率的定理。                                                                 在贝叶斯定理中： P(A|B)是在事件B发生的条件下事件A发生的条件概率，也由于得自B的取值而...
LDA（线性判别分析 )
weixin_41690708的博客
07-31 1109
　在主成分分析（PCA）原理总结中，对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。 思想： 　LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别...
MPLS之LDP协议
weixin_37945631的博客
03-18 1万+
MPLS需要使用标签分发协议完成标签的分配控制和保持，目前有很多种标签分发协议，LDP(Label Distribution Protocol）为其中之一，LSR之间可以使用LDP协议来交换标签信息。运行LDP协议的LSR之间通过交换LOp消息来发现邻居、建立和维护LOpSession并管理标签。LD叫肖息承载在UOP或下CP之上，端口号为646。这里简单介绍LDP常用的一些消息和各个消息的主要功...
机器学习中的矩阵求导的一点总结（三种方法求线性回归最佳参数）
promisejia
05-01 9753
在实际机器学习工作中，最常用的就是实值函数 y 对向量 x或矩阵 X 求导，比如最简单的线性回归问题中由目标函数 dJ(w)dJ(w) dJ(w) 求解最佳参数向量 ww w 。 矩阵/向量求导问题中要明确是什么量对什么量求导，得到的是什么形式的量 实值函数对向量求导，结果是同样维度和方向的向量 实值函数对矩阵求导，结果是同样维度的矩阵 本文以线性回归问题中由目标函数 dJ(w)dJ...
机器学习中常见的几种损失函数
weixin_30378623的博客
12-31 726
　　 　　通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。 　　损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数...
NLP︱LDA主题模型的应用难题、使用心得及从多元统计角度剖析
热门推荐
素质云笔记
08-17 2万+
将LDA跟多元统计分析结合起来看，那么LDA中的主题就像词主成分，其把主成分-样本之间的关系说清楚了。多元学的时候聚类分为Q型聚类、R型聚类以及主成分分析。R型聚类、主成分分析针对变量，Q型聚类针对样本。 PCA主要将的是主成分-变量之间的关系，在文本中LDA也有同样的效果，将一撮词（变量）变成话题（主成分），同时通过画像主成分，可以知道人群喜欢什么样子的话题； Q型聚类代表样本之间的群落关系
史上最直白的LDA教程之一
大数据和机器学习研究
12-16 9648
前言LDA线性鉴别分析，又叫线性鉴别矢量，它是Ronald Fisher发明的，所以有时候又叫Fisher鉴别矢量，它的核化版本叫KFDA(Kernel Fisher Discriminant Analysis)。机器学习的分类问题 ，是一种有监督学习。所谓有监督，就是知道训练样本的类别。顾名思义，无监督学习就是没有样本的类别信息，比如PCA就是无监督学习，如我们前面推导过的PCA，不需要
JGibbLDA使用总结
uzY)&PHd!cqj
02-20 1万+
最近在做基于LDA（Latent Dirichlet Allocation）的文本分类处理，开始学习和接触了LDA，因为代码采用的是Java，所以我选择的LDA开源工具是JGibbLDA，这个是LDA的Java版本实现，下载地址为：http://jgibblda.sourceforge.net/ ，当前最新版本为v1.0。同时对应的C++版本为GibbsLDA，下载地址为：http://gibbs
lda机器学习代码
05-28
以下是一个简单的LDA机器学习代码示例，使用Python中的Scikit-learn库： ```python from sklearn.decomposition import LatentDirichletAllocation from sklearn.feature_extraction.text import CountVectorizer ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值