lda的concentration parameter

最新推荐文章于 2021-02-23 20:03:37 发布
最新推荐文章于 2021-02-23 20:03:37 发布
阅读量1.7k 收藏 2
点赞数 1
分类专栏： LDA HDP算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caoeryingzi/article/details/8207846
版权

之前，在做hdp时，测试过concentration parameter的影响，感觉对采样收敛速度影响比较大。但是，那个时候没有对内部的聚类结果进行分析，只是整体看了一下结果。


这几天，测试lda，调整这个concentration parameter时，发现这个参数不仅影响到收敛速度，还影响聚类效果。当将concentration parameter设置到很小时，聚类会收敛到少数几个topic上，这正是我对一个问题最近一直在思考的解决方案。之前也测试过这个参数，但是只看整体收敛效果了，没有认真往细里分析，真是失误啊，再者，我当时取的参数相差不大，最近测试，相差4个数量级时，效果还是很明显的。


今天回头看自己的博士论文，感觉，其中太多东西没有分析到了。我应该找个时间再去仔细分析一下其中的细节，说不定可以总结总结，对以前的工作有更清晰的认识。哎，好怀念以前在学校的生活，我还是喜欢调模型的工作……


这个思路要感谢豆瓣上的网友，其中有一个链接，备注一下：http://en.wikipedia.org/wiki/Dirichlet_distribution#The_concentration_parameter

caoeryingzi
关注
专栏目录
林华达视角-概率图模型与计算机视觉
沈春旭的博客
01-03 1万+
1. 概率模型与计算机视觉 上世纪60年代, Marvin Minsky 在MIT让他的本科学生 Gerald Jay Sussman用一个暑假的时间完成一个有趣的Project: “link a camera to a computer and get the computer to describe what it saw”。从那时开始，特别是David Marr教授于1977年正式提出视觉...
java lda主题模型_主题模型（一）：LDA 基本原理
weixin_34853336的博客
02-13 364
一、 数学基础*** 二项分布***二项分布为N重伯努利分布，则事件成功k次的概率可表示为：*** 多项分布 ***多项分布是二项分布在高维度上的推广：*** Beta分布 ***其中， ，满足 。 为Gamma函数，积分表示为： *** Dirichlet分布 ***Dirichlet分布是Beta分布在高维度上的推广：其中，，为Gamma函数。当 取相同值时，称为对称Dirichlet分布。...
概率模型与计算机视觉 林达华
chinaliping的专栏
04-10 1262
上世纪60年代, Marvin Minsky 在MIT让他的本科学生 Gerald Jay Sussman用一个暑假的时间完成一个有趣的Project: “link a camera to a computer and get the computer to describe what it saw”。从那时开始，特别是David Marr教授于1977年正式提出视觉计算理论，计算机视
主题模型
SunChao3555的博客
04-21 1005
-----------七月在线机器学习笔记 目录 -----------七月在线机器学习笔记 pLSA模型 极大似然估计：N-文档数，M-单词数，K-主题数 LDA（latent Dirichlet Allocation） Dirichlet分布: 对称狄利克雷分布 对称狄利克雷分布的参数分析 LDA的解释 LDA的详细解释： 参数的学...
“概率模型与计算机视觉” 林达华
luxialan的专栏
11-03 861
“概率模型与计算机视觉” 林达华 美国麻省理工学院（MIT）博士        上世纪60年代, Marvin Minsky 在MIT让他的本科学生 Gerald Jay Sussman用一个暑假的时间完成一个有趣的Project: “link a camera to a computer and get the computer to describe what it s
【Scikit-Learn 中文文档】高斯混合模型 - 无监督学习 - 用户指南 | ApacheCN
妳那伊抹微笑的专栏
11-23 1571
sklearn.mixture 是一个应用高斯混合模型进行非监督学习的包，支持 diagonal，spherical，tied，full四种协方差矩阵 （注：diagonal指每个分量分布有各自不同对角协方差矩阵，spherical指每个分量分布有各自不同的简单协方差矩阵， tied指所有分量分布有相同的标准协方差矩阵，full指每个分量分布有各自不同的标准协方差矩阵） ，它对数据进行抽样，并且根据数据估计模型。同时包也提供了相关支持，来帮助用户决定合适的分量分布个数。 ../_images/sphx_g
lda主题模型应用java_主题模型LDA及在推荐系统中的应用
weixin_31702225的博客
02-23 429
1 关于主题模型使用LDA做推荐已经有一段时间了，LDA的推导过程反复看过很多遍，今天有点理顺的感觉，就先写一版。隐含狄利克雷分布简称LDA(latent dirichlet allocation)，是主题模型(topic model)的一种，由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出。 主题模型属于聚类方法，是一种无监督的学习方法。与通常的tf-id...
理顺主题模型LDA及在推荐系统中的应用
leiting_imecas的博客
04-03 1万+
1 关于主题模型使用LDA做推荐已经有一段时间了，LDA的推导过程反复看过很多遍，今天有点理顺的感觉，就先写一版。 隐含狄利克雷分布简称LDA（latent dirichlet allocation），是主题模型(topic model)的一种，由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出。 主题模型属于聚类方法，是一种无监督的学习方法。 与通常的tf-
狄利克雷分布公式_Dirichlet Distribution（狄利克雷分布）与Dirichlet Process（狄利克雷过程）...
weixin_39716510的博客
01-17 1444
Dirichlet Distribution(狄利克雷分布)与Dirichlet Process(狄利克雷过程)Dirichlet Distribution(狄利克雷分布)与Dirichlet Process(狄利克雷过程)在贝叶斯模型中具有广泛的作用，然而新手对现有的很多材料理解起来可能较为困难，因此我们希望这篇博客能讲清楚相关概念。强烈推荐徐亦达老师在优酷的视频，讲的很清楚，这里我们也借助各种...
spark lda对参数进行调试
fly_time2012的专栏
09-13 1192
online 方法setMaxIter //对迭代次数进行循环 for(iArray(5,10,20,40,60,120,200,500)){ val lda=new LDA() .setK(3) .setTopicConcentration(3) .setDocConcentration(3
腾讯哈勃_用Python的黑客统计资料重新审视哈勃定律
weixin_26746401的博客
09-17 1031
腾讯哈勃Simple OLS Regression, Pairs Bootstrap Resampling, and Hypothesis Testing to observe the effect of Hubble’s Law in Python. 通过简单的OLS回归，配对Bootstrap重采样和假设检验来观察哈勃定律在Python中的效果。 In this post, we will ...
Spark：聚类算法之LDA主题模型算法
热门推荐
皮皮blog
10-25 1万+
http://blog.csdn.net/pipisorry/article/details/52912179Spark上实现LDA原理LDA主题模型算法[主题模型TopicModel：隐含狄利克雷分布LDA ]Spark实现LDA的GraphX基础在Spark 1.3中，MLlib现在支持最成功的主题模型之一，隐含狄利克雷分布（LDA）。LDA也是基于Gra
spark LDA源码解读
fengkuang的一亩三分地
08-03 734
1.源码组成 spark LDA模型的调用接口放在了ml库中，org/apache/spark/ml/clustering/LDA.scala。 spark实现的LDA模型在apache/spark/tree/branch-2.1/mllib/src/main/scala/org/apache/spark/mllib/clustering路径中。以下是其源码组成： 2.训练使用 我们先...
DPMM(狄利克雷过程混合模型)浅解和添加似然函数的问题
KAMITA的博客
04-28 3789
Dirichlet Process 狄利克雷混合模型
八卦点HDP模型吧
SophieZhou的专栏
10-26 7251
<br />既然我坚持了那么久，看懂了，把我博士工作耽误的其实也不少，也不算耽误，主要是基础差，这个算法又麻烦，所以一直看到现在也没出成果。我想如果当时有人能够指导我，告诉我这个很难，需要专业的理论背景等知识，我可能不会继续下去。而如果有人一起学习讨论，可能现在也会好多了。但是，这些都是假设，不是吗？<br /> <br />但是，既然做了，实现了，就还是要继续关注下去。<br /> <br /> <br />首先，HDP模型，不是万能的，但是至少目前在我看来是非常灵活的一个模型。从HDP延伸出来的模型，最
ICML的出版社问题
SophieZhou的专栏
02-18 6049
<br />折腾一上午，也没在ICML2010的官方web上看到出版社信息。豆瓣求助，得到网友相助，才看到。<br />http://www.informatik.uni-trier.de/~ley/db/conf/icml/ <br />这里有每年的ICML会议的相关详细信息。我估计参考文献里还有其它的几个需要修改，不过暂时编辑部没说有问题，可能是他们已经修改完成了。<br />不管怎么样，等最终稿件回来时，需要核对一下这些信息。尤其是来自ICML的很多篇文献，要核对，还有去掉的几篇参考文献，需要核对。<
HDP-HMM
SophieZhou的专栏
01-16 4020
<br />HDP-HMM实现的过程<br /> <br />一直想尝试实现这个模型应用到我的数据中，HMM貌似看懂了，可真的自己实现时还是发现了很多问题。加油吧，一定要在走之前实验完成了，过年后交毕业论文，准备答辩。如果老板让早点答辩，就早点答辩去开始实习去。<br /> <br />下一个阶段头大的事情就是毕业论文了，加油。<br /> <br />关于HDP-HMM，陆续会写些进展的文章，希望能够尽快。
gibbs取样
SophieZhou的专栏
05-05 3365
原来一直在看的一个取样算法，我就觉得很奇怪，为何不同的人写的不一样呢。现在明白了，这三种形式不同的地方和为何不同。在文献/cite{Neal2000}中，作者对狄里克雷混合模型的gibbs取样算法进行了综述性介绍。其中前三种算法是处理共轭分布的取样算法。但是，作者并没有详细给出算法的应用举例，在/cite{Ananth2004,Ananth2008,Sudderth2006}中分别对/cite{N
hdp code
SophieZhou的专栏
07-23 2619
<br />hdp c++  code.<br /> <br /> <br />实现这部分代码已经很久了，一直没有进行总结过，更多的是思考如何进行下一步的工作和创新。说实话到现在也没什么创新，所多的只是对HDP的更多认识和对自己知识结构的认识。<br /> <br />关于HDP，matlab算法多的是，其实在我看了作者的matlab代码后，我觉得作者的code真是很好很好。但是，matlab中，其实有些也很麻烦的，再者我不喜欢用这个工具，因为我一直对矩阵操作有点胆怯，无把握。所以，我一般只是用来处理数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值