python-jieba库

python-jieba库

-jieba介绍

jieba是优秀的中文分词第三方库，需要额外安装

中文文本需要通过分词获得单个的词语

jieba提供三种分词模式

-jieba库安装

pip install jieba 指令，在命令行，要求计算机联网

-jieba分词原理

利用中文词库，确定汉字之间的关联概率

也可以自定义添加词组，适用于某些具体领域

-分词的三种模式

精确模式：把文本精确的切分开，不存在冗余单词

全模式：把文本中所有可能的词语都扫描出来，有冗余

搜索引擎模式：在精确模式基础上，对长词再次切分

-常用函数

jieba.lcut(s)

精确模式，返回一个列表类型分词结果

jieba.luct(s,cut_all=True)

全模式，返回列表类型的分词结果，存在冗余

jieba,lcut_for_search(s)

搜索引擎模式，返回列表类型，存在冗余

jieba.add_word(w)

向分词词库添加新单词w

-词频统计

需要动手练习，结合列表，字典，字符串多种知识点

=====================================

学习渠道：mooc python语言程序设计 嵩天

侵删~