2017年04月_旭旭_哥

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创隐马尔科夫模型java实现

上周微信公众号推荐了一篇文章叫隐马尔科夫中文词的文章，原文http://blog.csdn.net/u014365862/article/details/54891582大概了看了下，讲的通俗易懂，这周还很忙，一直在做crf模型，周五比较闲，明天也五一，花了一下午的时间写了下代码实现隐马尔科夫模型，代码中最好是用对手的形式，hmm一旦长了，数字变小，会产生问题，我看了下hanlp的hmm分

2017-04-28 17:32:45 3457 1

原创 java实现文本分类中卡方特征选择

java在文本分类中卡方的特征选择，在文本分类的特征选择阶段，一般使用“词汇t与类别c不相关”来做原假设，计算出的开方值越大，说明对原假设的偏离越大，我们越倾向于认为原假设的反面情况是正确的。选择的过程为每个词计算它与类别c的开方值，从大到小排个序（此时开方值越大越相关），取前k个就可以。所以卡方值越大，词汇与分类越相关。最后结果，一个特征对应一个最后的卡方值

2017-04-24 17:04:35 1913 3

原创 libsvm 中文文本分类 java版本

这周打算用word2vec+lstm做一个中文文本分类模型，无奈老大以前用过libsvm，叫我用libsvm，折腾了两天基本上调通中通碰到各种各样的问题，在此记录下来。首先下载libsvm包，下载链接http://www.csie.ntu.edu.tw/~cjlin/cgi-bin/libsvm.cgi?+http://www.csie.ntu.edu.tw/~cjlin/li

2017-04-21 19:54:46 14977 2

原创 deeplearning4j之GloVe实现实现

glove类似于word2vec，听说效果还比word2vec更加强大，可以用于做自然语言处理，正好学习deeplearning4j的时候看到了，顺便写在这，文章用到的数据跟上一篇word2vec一样，看看效果吧，训练时间比word2vec要长太多，代码如下：package com.meituan.deeplearning4j;import org.datavec.api.util.C

2017-04-17 19:46:59 1816 2

原创 deeplearning4j之卷积神经网络实现

卷积神经网络从跟普通的的机器学习模型并不大一样，输入一般为一个高维矩阵，能后经过卷积、池化、卷积、池化、、到全连接、softmax、方向传播调整权值，目前实现cnn的各种深度学习架构很多，下面用的deeplearning4j包实现，主要参考git上项目提供的例子，package com.meituan.deeplearning4j;import java.io.IOExce

2017-04-16 00:58:54 5233 5

原创 deeplearning4j之word2vec学习

在deeplearning4j下训练word2vec模型还是比较简单的，先看下依赖情况： UTF-8 0.7.1 0.7.1 0.7.1 2.10 org.nd4j nd4j-native ${nd4j.version} org.deeplearning4j deeplearning4j-core ${d

2017-04-14 17:55:14 5323 4

原创 deeplearing4j学习之矩阵学习

最近要学习deeplearning4j，先看了下矩阵情况学习，先看下创建矩阵的情况：package com.meituan.nd4jexcise;import java.util.Arrays;import org.nd4j.linalg.api.ndarray.INDArray;import org.nd4j.linalg.factory.Nd4j;public class Nd4j

2017-04-14 17:49:06 1519

原创多项式朴素贝叶斯文本分类 java

今天可忙活了一天，从写朴素贝叶斯算法到模型存储，到测试数据模评估，具体来看看代码我用的数据，用ansj分词，去停顿词，最后的文本结构如下：(-1,技术特别特别神奇师傅环境特别优雅下次再来)(-1,技师按摩服务专业舒服太爽啦)(-1,美女服务明晚光顾)(-1,服务态度)(-1,谢谢好吃嘎嘎嘎嘎)(-1,服务态度菜品)(

2017-04-10 17:39:08 1309 1

原创多项式和伯努利朴素贝叶斯文本分类模型 java实现

话说最近要写个文本分类的项目，然后嵌套到系统里面去，打算用spark，发现rdd并不好存储，自己写了个来实现吧，原理主要参考：http://blog.csdn.net/cxmscb/article/details/69267326http://blog.163.com/jiayouweijiewj@126/blog/static/1712321772010102802635243/

2017-04-10 13:39:57 1593

原创 spark中文文本分类

最近要做一个点评中文的文本分类模型，想在spark中训练模型，然后通过把tf过程、idf过程、以及模型封装到一个类里面一个java类中，然后写到redis中，但是spark中idf过程中碰到一些困难，忘高手赐教，先看下面代码：package com.meituan.spark.modelimport org.apache.log4j.{ Level, Logger }import

2017-04-01 15:01:44 2559 3