Python中文分词:jieba库的使用
1.jieba库简介:
中文文本需要通过分词获得单个单词,jieba库是优秀的中文分词第三方库,需要额外安装。
2.jieba库的安装:
在Anaconda Prompt命令行下输入:pip install jieba
3.jieba库分词原理:
利用一个中文词库,确定汉字之间的关联概率,汉字之间概率大的组成词组。除了词库中的词外,用户可以向词库中增加自定义的词组。
4.jieba库的使用说明:
jieba分词的三种模式:精确模式、全模式、搜索引擎模式。
- 精确模式:把文本精确切分开,不存在冗余单词。
- 全模式:把文本中所有可能的词语都扫描出来,存在冗余单词。
- 搜索引擎模式:在精确模式的基础上,再次对长词切分。
5.jieba库的常用函数: