2016年04月_yhao浩

09月 08月 06月 05月 04月 03月 02月

原创【问题跟踪】KryoException: java.io.IOException: No space left on device

今天在对LDA进行不同参数训练模型，记录其avglogLikelihood和logPerplexity，以便判断模型训练是否收敛时，产生了一个令人极度崩溃的事儿：程序在辛辛苦苦跑了7.3h后...挂了！证据如下：早上一来看这张图，好像跑完了，然后点进去看...然后就没有然后了每次迭代都需要9min左右，迭代了近50次跟我说挂了，确实挺让人奔溃的。先说说我的配置以

2016-04-15 10:35:46 19038 4

原创基于spark mllib的LDA模型训练源码解析

一直想写一篇关于LDA模型训练的源代码走读，但是因为个人水平以及时间原因未能如愿，今天想起来就记录了一下源码走读过程。有什么解释的不太清楚或者错误的地方请大家指正。LDA模型训练大致经过以下这些步骤：输入数据（已转换为Vector）和参数设置根据LDA选择的算法初始化优化器迭代优化器获得LDA模型下面对每一步的源码进行代码跟进。完整的项目可以到我的github下载

2016-04-13 17:14:16 8020 5

原创基于spark mllib的LDA模型训练Scala代码实现

从事NLP算法工作也快一年了，主要时间花在了LDA上面，但是却一直没有好好整理一下，决心把到目前为止做的一些东西分享出来，如有疑问敬请指正。在Github上建了一个自己的项目：CkoocNLP（去这个名字是想做一个NLP相关的技术的代码实现，不过目前上面还没有什么东西）。里面已经有基于spark的训练和预测代码实现，有兴趣的同学可以去看看，代码比较简单，可以直接checkout出来跑。直接

2016-04-08 17:37:05 7588 18

转载通俗理解LDA主题模型

声明：本文转载自July的CSDN博客，仅作为知识记录所用，原文链接：http://blog.csdn.net/v_july_v/article/details/412095150 前言印象中，最开始听说“LDA”这个名词，是缘于rickjin在2013年3月写的一个LDA科普系列，叫LDA数学八卦，我当时一直想看来着，记得还打印过一次，但不知是因为这篇文档

2016-04-08 17:05:10 39458 5