自然语言处理
文章平均质量分 54
我想我可以更强
vgsdgfd
展开
-
中文分词:原理及分词算法
http://www.dianacody.com/2014/11/05/cn_cutwords.html中文分词:原理及分词算法05 Nov 2014 By DianaCody词是最小的能够独立活动的有意义的语言成分,英文单词之间是以空格作为自然分界符的,Lucene中对中文的处理是基于自动切分的单字切分,或者二元切分。除此之外,还有最大切分(包括向前、向后、以及前后相转载 2017-01-27 04:53:56 · 13429 阅读 · 0 评论 -
中文分词中的正向最大匹配与逆向最大匹配
http://josh-persistence.iteye.com/blog/2243380我们都知道,英文的分词由于单词间是以空格进行分隔的,所以分词要相对的容易些,而中文就不同了,中文中一个句子的分隔就是以字为单位的了,而所谓的正向最大匹配和逆向最大匹配便是一种分词匹配的方法,这里以词典匹配说明。 所谓词典正向最大匹配就是将一段字符串进行分隔,其中分隔 的长度有限制转载 2017-01-27 04:02:21 · 18592 阅读 · 3 评论 -
以字分词最大熵模型
http://www.voidcn.com/blog/u010189459/article/p-3147283.htmlhttp://blog.csdn.net/on_1y/article/details/9769919原创 2017-01-27 19:44:49 · 1002 阅读 · 0 评论