中文分词jieba库

pip install jieba # 安装jieba库

        jieba库的分词原理是利用一个中文词库，将待分词的内容与分词词库进行对比，通过图结构和动态规划方法找到最大概率的词组，除了分词，jieba还提供增加自定义中文单词的功能。

        jieba库支持三种分词模式：精确模式，将句子最精确地切开。适合文本分析；全模式，把句子中所有可以成词的词语都扫描出来，速度非常快，但是不能解决歧义；搜索引擎模式，在精确模式基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

对中文分词来说，jieba只需要一行代码。（英文文本不存在分词问题）

import jieba
print(jieba.lcut('重庆你好')) 
# ['重庆','你好']

 jieba.lcut(s,cut_all=True)用于全模式即将字符串中所有的分词可能均列出来，返回结果是列表类型，沉余性最大

import jieba
print(jieba.lcut('全国计算机等级考试python科目',cut_all=True)
# ['全国','国计','计算','计算机','算机','等级','考试','python','科目']