中文分词
文章平均质量分 88
竹聿Simon
Live a wonderful life.
展开
-
NLPIR(ICTCLAS2016)分词系统添加用户词典功能
备注:win7 64位系统,netbeans编程基本代码框架参见我的另一篇文章:NLPIR分词功能代码实现:package cwordseg;import java.io.UnsupportedEncodingException;// import utils.SystemParas;import com.sun.jna.Library;import com.su原创 2016-03-15 20:49:53 · 12690 阅读 · 16 评论 -
NLPIR(ICTCLAS2016)对文本进行分词
功能:利用NLPIR对文本进行分词,并将分词结果导出为文本。备注:win7 64位系统,netbeans编程基本代码框架参见我的另一篇文章:NLPIR分词功能代码实现:package cwordseg;import java.io.UnsupportedEncodingException;// import utils.SystemParas;import co原创 2016-03-15 21:21:02 · 5656 阅读 · 16 评论 -
NLPIR(ICTCLAS2016)对词频统计功能
功能:利用NLPIR(ICTCLAS2016)进行中文分词,并进行词频统计。备注:win7 64位系统,netbeans编程代码实现:package cwordseg;import java.io.UnsupportedEncodingException;// import utils.SystemParas;import com.sun.jna.Library;import原创 2016-03-16 19:09:29 · 5433 阅读 · 13 评论 -
java调用NLPIR(ICTCLAS2016)实现分词功能
备注:win7 64位系统,netbeans编程 NLPIR分词系统,前身是2000年发布的ICTCLAS,2009年更为现名。张华平博士打造。实现步骤: 1、在Netbeans中,文件→新建项目→java→java应用程序;项目名称:CWordSeg; 2、将NLPIR文件下…\sample\JnaTest_NLPIR\src\code中NlpirT原创 2016-03-15 13:10:18 · 7110 阅读 · 12 评论 -
Python调用哈工大语言云(LTP)API进行自然语言处理
哈工大语言云(语言技术平台云)是以哈工大社会计算与信息检索研究中心研发的“语言技术平台(LTP)” 为基础,提供高效精准的中文自然语言处理云服务。 官网:http://www.ltp-cloud.com/ 使用python调用API实验,参考文档:http://www.ltp-cloud.com/document/1.注册:免费注册一个帐号原创 2016-04-17 17:17:07 · 12147 阅读 · 2 评论 -
哈工大语言云(LTP)本地安装使用及Python调用
备注:本文实验环境为64位win7系统,32位python2.7.11哈工大LTP官方主页:http://ltp.readthedocs.org/zh_CN/latest/index.html1.LTP下载(1)LTP项目文件ltp-3.3.1-win-x86.zip(2)LTP模型文件3.3.1(2016年4月13日前)下载地址参考:http://ltp.read原创 2016-04-17 17:51:13 · 42771 阅读 · 19 评论 -
哈工大LTP和中科院NLPIR中文分词比较
个人实验总结,仅供参考。1.LTP有自动分句功能,NLPIR没有分句功能;LTP的分句是根据中文标点里的句号、问号、感叹号、分号、省略号。2.NLPIR分词有两种方式,分词结果完全一致。(1)利用分词函数NLPIR_ParagraphProcess;(2)利用NLPIR_FileProcess对整个文本进行分词。其中第(2)种有时候会出现bug,分词进行到文原创 2016-04-17 18:00:35 · 20727 阅读 · 1 评论 -
结巴中文分词使用学习(python)
中文分词工具:结巴分词 github地址:https://github.com/fxsjy/jieba一、分词功能精确模式(默认):试图将句子最精确地切开,适合文本分析;全模式,把句子中所有的可以成词的词语都扫描出来,但是不能解决歧义;搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,该方法适合用于搜索引擎构建倒排索引的分词,粒度比较细。注意:jieba.cut以及jieba.c原创 2016-05-21 17:15:12 · 13307 阅读 · 0 评论