- 博客(4)
- 资源 (9)
- 问答 (1)
- 收藏
- 关注
原创 【问题跟踪】KryoException: java.io.IOException: No space left on device
今天在对LDA进行不同参数训练模型,记录其avglogLikelihood和logPerplexity,以便判断模型训练是否收敛时,产生了一个令人极度崩溃的事儿:程序在辛辛苦苦跑了7.3h后...挂了!证据如下:早上一来看这张图,好像跑完了,然后点进去看...然后就没有然后了每次迭代都需要9min左右,迭代了近50次跟我说挂了,确实挺让人奔溃的。先说说我的配置以
2016-04-15 10:35:46 19082 4
原创 基于spark mllib的LDA模型训练源码解析
一直想写一篇关于LDA模型训练的源代码走读,但是因为个人水平以及时间原因未能如愿,今天想起来就记录了一下源码走读过程。有什么解释的不太清楚或者错误的地方请大家指正。LDA模型训练大致经过以下这些步骤:输入数据(已转换为Vector)和参数设置根据LDA选择的算法初始化优化器迭代优化器获得LDA模型下面对每一步的源码进行代码跟进。完整的项目可以到我的github下载
2016-04-13 17:14:16 8054 5
原创 基于spark mllib的LDA模型训练Scala代码实现
从事NLP算法工作也快一年了,主要时间花在了LDA上面,但是却一直没有好好整理一下,决心把到目前为止做的一些东西分享出来,如有疑问敬请指正。在Github上建了一个自己的项目:CkoocNLP(去这个名字是想做一个NLP相关的技术的代码实现,不过目前上面还没有什么东西)。里面已经有基于spark的训练和预测代码实现,有兴趣的同学可以去看看,代码比较简单,可以直接checkout出来跑。直接
2016-04-08 17:37:05 7621 18
转载 通俗理解LDA主题模型
声明:本文转载自July的CSDN博客,仅作为知识记录所用,原文链接:http://blog.csdn.net/v_july_v/article/details/412095150 前言 印象中,最开始听说“LDA”这个名词,是缘于rickjin在2013年3月写的一个LDA科普系列,叫LDA数学八卦,我当时一直想看来着,记得还打印过一次,但不知是因为这篇文档
2016-04-08 17:05:10 39703 5
从logstash向elasticsearch导入数据出错
2015-06-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人