jieba分词

pip install jieba 或者
github链接：[https://github.com/fxsjy/jieba](https://github.com/fxsjy/jieba)
利用jieba,pandas等进行数据分析https://www.jianshu.com/p/c77dab17fbd4

精确模式：试图将句子最精确地切开，适合文本分析；
全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

#全模式
test1 = jieba.cut("小明硕士毕业于中国科学院计算所，后在日本京都大学深造", cut_all=True)
print("全模式: " + "| ".join(test1))

#精确模式
test2 = jieba.cut("小明硕士毕业于中国科学院计算所，后在日本京都大学深造", cut_all=False)
print("精确模式: " + "| ".join(test2))

#搜索引擎模式
test3= jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")
print("搜索引擎模式:" + "| ".join(test3))

全模式: 小| 明| 硕士| 毕业| 于| 中国| 中国科学院| 科学| 科学院| 学院| 计算| 计算所| | | 后| 在| 日本| 日本京都大学| 京都| 京都大学| 大学| 深造

精确模式: 小明| 硕士| 毕业| 于| 中国科学院| 计算所| ，| 后| 在| 日本京都大学| 深造

搜索引擎模式:小明| 硕士| 毕业| 于| 中国| 科学| 学院| 科学院| 中国科学院| 计算| 计算所| ，| 后| 在| 日本| 京都| 大学| 日本京都大学| 深造