八卦点HDP模型吧

既然我坚持了那么久,看懂了,把我博士工作耽误的其实也不少,也不算耽误,主要是基础差,这个算法又麻烦,所以一直看到现在也没出成果。我想如果当时有人能够指导我,告诉我这个很难,需要专业的理论背景等知识,我可能不会继续下去。而如果有人一起学习讨论,可能现在也会好多了。但是,这些都是假设,不是吗?

 

但是,既然做了,实现了,就还是要继续关注下去。

 

 

首先,HDP模型,不是万能的,但是至少目前在我看来是非常灵活的一个模型。从HDP延伸出来的模型,最著名的就是随着HDP引入作者介绍的HDP-HMM模型。这说明了,HDP不仅仅可以作为一个模型算法,而且还可以作为别的模型的先验分布而存在,这是HDP最有魅力的地方,我觉得。

 

我们知道,由于HDP模型可以生成聚类数目,因此,用到HMM上,HMM的聚类数目就可以不用人为输入了。

 

HDP模型的开始是用在文本处理中的,但是现在在图像视频处理中,应用尤其广泛。

 

在模型中,有几个特点,当然包括缺点。首先计算量太大,即使是变分解也需要很大的计算量。但是,HDP模型很美,再者能够生成聚类数目和完成数据建模,比较方便用于推断和预测等工作。

 

 

  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Gensim是一个相当专业的主题模型Python工具包。在文本处理中,比如商品评论挖掘,有时需要了解每个评论分别和商品的描述之间的相似度,以此衡量评论的客观性。评论和商品描述的相似度越高,说明评论的用语比较官方,不带太多感情色彩,比较注重描述商品的属性和特性,角度更客观。gensim就是  Python 里面计算文本相似度的程序包。示例代码:针对商品评论和商品描述之间的相似度,怎么使用gensim来计算?原理1、文本相似度计算的需求始于搜索引擎。搜索引擎需要计算“用户查询”和爬下来的众多”网页“之间的相似度,从而把最相似的排在最前返回给用户。2、主要使用的算法是tf-idftf:term frequency词频idf:inverse document frequency倒文档频率主要思想是:如果某个词或短语在一篇文章中出现的频率高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。第一步:把每个网页文本分词,成为词包(bag of words)。第三步:统计网页(文档)总数M。第三步:统计第一个网页词数N,计算第一个网页第一个词在该网页中出现的次数n,再找出该词在所有文档中出现的次数m。则该词的tf-idf 为:n/N * 1/(m/M) (还有其它的归一化公式,这里是最基本最直观的公式)第四步:重复第三步,计算出一个网页所有词的tf-idf 值。第五步:重复第四步,计算出所有网页每个词的tf-idf 值。3、处理用户查询第一步:对用户查询进行分词。第二步:根据网页库(文档)的数据,计算用户查询中每个词的tf-idf 值。4、相似度的计算使用余弦相似度来计算用户查询和每个网页之间的夹角。夹角越小,越相似。 标签:Gensim

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值