NLP
AIBAIKE
好记性不如乱笔头
展开
-
NLP:RNN-Attention
参考文章:http://blog.csdn.net/thriving_fcl/article/details/73381217原创 2018-02-11 09:19:53 · 197 阅读 · 0 评论 -
NLP:RNN原理介绍
1.首先参考CNN和RNN文本分类对比:http://blog.csdn.net/baoyan2015/article/details/64438530http://blog.csdn.net/u010223750/article/details/514378542.RNN做文本分类,相当于把每个词作为一个时间节点,把词向量作为每个单元的输入特征...原创 2018-02-11 09:20:28 · 900 阅读 · 0 评论 -
NLP-CRF模型原理介绍
参考:https://www.jianshu.com/p/55755fc649b1https://www.zhihu.com/question/35866596https://www.cnblogs.com/pinard/p/7048333.html 理解条件随机场最好的办法就是用一个现实的例子来说明它。但是目前中文的条件随机场文章鲜有这样干的,可能写文章的人都是大牛,不屑于举例...原创 2018-05-27 18:30:07 · 6136 阅读 · 3 评论 -
HMM隐马尔可夫模型
Viterbi 算法是在已知观察序列的概率分布,寻找最可能的隐藏状态序列(参考:http://www.52nlp.cn/hmm-learn-best-practices-six-viterbi-algorithm-1 https://www.cnblogs.com/skyme/p/4651331.html...原创 2018-02-27 10:04:02 · 233 阅读 · 0 评论 -
NLP:使用深度学习进行文本分类的一些主要模型
参考:http://blog.csdn.net/liuchonge/article/details/77140719?locationNum=6&fps=1http://geek.csdn.net/news/detail/189196常见的模型有:(1)word2vec+分类器。这个应该是最简单的,因为word2vec本质上是由CNN网络生成词向量的一种深度学习模型(2)fasttext。...原创 2018-02-11 09:30:28 · 1687 阅读 · 0 评论 -
NLP:word2vec介绍
原理介绍请参考:https://www.leiphone.com/news/201706/PamWKpfRFEI42McI.html(经典)http://blog.csdn.net/zl_best/article/details/53433072http://blog.csdn.net/mytestmy/article/details/26961315word2vec的python...原创 2018-02-11 09:30:59 · 472 阅读 · 0 评论 -
NLP:fasttext介绍
一、fasttext和word2vec的比较fasttext与word2vec是同一作者,所谓fasttext,不过是 word2vec中 cbow + h-softmax的灵活使用,灵活体现在两个方面:1. 模型的输出层:word2vec的输出层,对应的是每一个term,计算某term的概率最大;而fasttext的输出层对应的是 分类的label。不过不管输出层对应的是什么内容,起对应的vec...原创 2018-02-11 09:31:59 · 452 阅读 · 0 评论 -
NLP:主题模型LDA+SVM进行文本分类
参考:http://www.cnblogs.com/pinard/p/6908150.htmlhttp://blog.csdn.net/TiffanyRabbit/article/details/76445909原理:使用LDA进行模型训练,得到每个文档的主题分布,即每个文档包含的每个主题的权重,此权重即可作为特征,然后将此特征进行svm训练,即可进行后续的文本的分类处理步骤:(1)文本分词,去除...原创 2018-02-11 09:32:53 · 9264 阅读 · 0 评论 -
NLP:sklearn中fit、fit_transform、transform的区别
参考:http://blog.csdn.net/qq_35082030/article/details/70338654fit原义指的是安装、使适合的意思,其实有点train的含义但是和train不同的是,它并不是一个训练的过程,而是一个适配的过程,过程都是定死的,最后只是得到了一个统一的转换的规则模型。transform:是将数据进行转换,比如数据的归一化和标准化,将测试数据按照训练数据同样的模...原创 2018-02-11 09:33:27 · 10101 阅读 · 0 评论 -
NLP:主题模型LDA介绍
(一)LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少,如TF-IDF等,这种方法没有考虑到文字背后的语义关联,可能在两个文档共同出现的单词很少甚至没有,但两个文档是相似的。 举个例子,有两个句子分别如下: “乔布斯离我们而去了。” “苹果价格会不会降?” 可以看到上...原创 2018-02-11 09:34:00 · 978 阅读 · 0 评论