皮皮blog

Talk is cheap, Show me the code!

排序:
默认
按更新时间
按访问量

Spark:聚类算法之LDA主题模型算法

http://blog.csdn.net/pipisorry/article/details/52912179Spark上实现LDA原理LDA主题模型算法[主题模型TopicModel:隐含狄利克雷分布LDA ]Spark实现LDA的GraphX基础在Spar...

2016-10-25 17:04:28

阅读数:8217

评论数:3

参数估计:文本分析的参数估计方法

http://blog.csdn.net/pipisorry/article/details/51482120文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。参数估计参数估计中,我们会遇到两个主要问题:(1)如何去估计参数的value。(2)估计出参数的valu...

2016-05-23 17:36:47

阅读数:12691

评论数:2

随机采样和随机模拟:吉布斯采样Gibbs Sampling

http://blog.csdn.net/pipisorry/article/details/51373090 马氏链收敛定理 马氏链定理: 如果一个非周期马氏链具有转移概率矩阵P,且它的任何两个状态是连通的,那么limn→∞Pnij 存在且与i无关,记limn→∞Pnij=π(j), 我...

2016-05-12 00:24:21

阅读数:42868

评论数:11

马尔科夫模型 Markov Model

http://blog.csdn.net/pipisorry/article/details/46618991生成模式(Generating Patterns)1、确定性模式(Deterministic Patterns):确定性系统  考虑一套交通信号灯,灯的颜色变化序列依次是红色-红色/黄色-...

2015-06-24 10:34:20

阅读数:17177

评论数:0

主题模型TopicModel:通过gensim实现LDA

http://blog.csdn.net/pipisorry/article/details/46447561使用python gensim轻松实现lda模型。gensim简介Gensim是一个相当专业的主题模型Python工具包。在文本处理中,比如商品评论挖掘,有时需要了解每个评论分别和商品的描...

2015-06-10 22:27:18

阅读数:13039

评论数:3

主题模型TopicModel:LDA编程实现

http://blog.csdn.net/pipisorry/article/details/45771045 LDA的python实现 LDA的c/c++实现

2015-05-16 20:53:35

阅读数:9152

评论数:1

主题模型TopicModel:主题模型LDA的应用

http://blog.csdn.net/pipisorry/article/details/45665779 应用于推荐系统 在使用LDA(Latent Dirichlet Allocation)计算物品的内容相似度时,我们可以先计算出物品在话题上的分布,然后利用两个物品的话题分布计算物品的相...

2015-05-12 10:10:16

阅读数:10080

评论数:0

主题模型TopicModel:主题模型可视化

http://blog.csdn.net/pipisorry Browse LDA Topic Models This package allows you to create a set of HTML files to browse a topic model.It creates a w...

2015-04-29 19:20:33

阅读数:4814

评论数:0

主题模型TopicModel:LDA的缺陷和改进

http://blog.csdn.net/pipisorry/article/details/45307369 LDA的缺陷和改进 1. 短文本与LDA ICML论文有理论分析,文档太短确实不利于训练LDA,但平均长度是10这个数量级应该是可以的,如peacock基于query 训练模型。 ...

2015-04-27 10:57:16

阅读数:7089

评论数:4

knowledge_based topic model - 基于知识的主题模型概述

http://blog.csdn.net/pipisorry/article/details/44040701 LDA (Bleiet al., 2003) 术语 Mustlink states that two words should belong to the same top...

2015-03-03 17:23:07

阅读数:1932

评论数:2

knowledge_based topic model - AMC

http://blog.csdn.net/pipisorry/article/details/43271429 ABSTRACT         Topic modeling has been widely used to mine topics from documents. Howeve...

2015-01-29 14:59:28

阅读数:2070

评论数:1

主题模型TopicModel:LDA中的数学模型

了解LDA需要明白如下数学原理: 一个函数:gamma函数 四个分布:二项分布、多项分布、beta分布、Dirichlet分布 一个概念和一个理念:共轭先验和贝叶斯框架 两个模型:pLSA、LDA(文档-主题,主题-词语) 一个采样:Gibbs采样

2015-01-13 10:16:52

阅读数:5819

评论数:2

主题模型TopicModel:隐含狄利克雷分布LDA

http://blog.csdn.net/pipisorry/article/details/42649657主题模型LDA简介隐含狄利克雷分布简称LDA(Latent Dirichlet allocation),是一种主题模型,它可以将文档集中每篇文档的主题按照概率分布的形式给出。同时它是一种无...

2015-01-12 21:07:07

阅读数:28089

评论数:6

主题模型TopicModel:PLSA模型及PLSA的EM推导

基于概率统计的PLSA模型,并且用EM算法学习模型参数。PLSA的概率图模型如下 其中D代表文档,Z代表隐含类别或者主题,W为观察到的单词,表示单词出现在文档的概率,表示文档中出现主题下的单词的概率,给定主题出现单词的概率。并且每个主题在所有词项上服从Multinomial 分布,每个文档在所...

2015-01-09 20:59:44

阅读数:4992

评论数:0

主题模型TopicModel:Unigram、LSA、PLSA模型

http://blog.csdn.net/pipisorry/article/details/42560693主题模型历史Papadimitriou、Raghavan、Tamaki和Vempala在1998年发表的一篇论文中提出了潜在语义索引。1999年,Thomas Hofmann又在此基础上,...

2015-01-09 20:49:55

阅读数:13351

评论数:4

主题模型TopicModel:LSA(隐性语义分析)模型和其实现的早期方法SVD

LSA and SVD LSA(隐性语义分析)的目的是要从文本中发现隐含的语义维度-即“Topic”或者“Concept”。我们知道,在文档的空间向量模型(VSM)中,文档被表示成由特征词出现概率组成的多维向量,这种方法的好处是可以将query和文档转化成同一空间下的向量计算相似度,可以对不同词...

2015-01-09 20:40:55

阅读数:9825

评论数:2

EM算法原理详解

http://blog.csdn.net/pipisorry/article/details/42550815EM算法有很多的应用,最广泛的就是GMM混合高斯模型、聚类、HMM、基于概率的PLSA模型等等。本文详细讲述EM算法的由来、EM算法的实现思路、EM算法解决PLSA和LDA的方法。概述、E...

2015-01-09 09:44:36

阅读数:14476

评论数:5

主题模型TopicModel:LDA主题模型的评估

LDA主题模型好坏的评估,判断改进的参数或者算法的建模能力。 Blei先生在论文《Latent Dirichlet Allocation》实验中用的是Perplexity值作为评判标准。 一、Perplexity定义 http://en.wikipedia.org/wiki/Perplexity...

2015-01-06 17:05:04

阅读数:9727

评论数:0

主题模型TopicModel:LDA参数推导、选择及注意事项

http://blog.csdn.net/pipisorry/article/details/42129099LDA参数LDA求参推导中国科学技术信息研究所徐硕老师的PDF,对LDA,TOT,AT模型如何使用gibbs sampling求参进行了细致推导,并依据求参结果给出伪代码。地址:http:...

2014-12-24 21:14:13

阅读数:16742

评论数:1

提示
确定要删除当前文章?
取消 删除
关闭
关闭