【Python+中文NLP】(二) 中文分词工具包:jieba

本文介绍jieba分词工具包在Python中处理中文文本的应用,包括jieba的安装和与NLTK结合使用的方式。通过jieba进行中文分词后,可以使用nltk进行后续的文本分析,如词频统计、信息熵和互信息计算,进而进行文本分类等任务。
摘要由CSDN通过智能技术生成

前言

         目前中文分词算法可分为三大类:基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法随着大规模语料库的建立,统计机器学习方法的研究和发展,基于统计的中文分词方法渐渐成为了主流方法主要方法为:给出大量已经分词的文本,利用统计机器学习模型学习词语切分的规律(称为训练),从而实现对未知文本的切分。例如最大概率分词方法和最大熵分词方法等。

       主要统计机器学习模型:

  •        N元文法模型(N-gram),
  •        隐马尔可夫模型(Hidden Markov Model ,HMM),
  •        最大熵模型(ME),
  •        条件随机场模型(Conditional Random Fields,CRF)等。

     而NLP得工具包nltk处理中文的第一步障碍就是中文资料不是分好词的, 词语与词语之间没有空格。要使用nltk对中文进行处理, 首先的第一步就是中文分词(中文断词)。我们得认清现实,现实就是nltk不支持处理中文,因此,这个给国内很多自然语言处理的研究人员有了研究的空间了,国内目前几个比较好的中文分词工具如下:

  •        jieba【推荐】
  •        thulac(清华大学) :处理utf-8编码
  •      
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值