【python】中文怎样分词

首先要用到jieba包，安装方法如下：

pip install jieba -i https://pypi.douban.com/simple

用法实例：

import jieba

mystr = "编程中会用到很多需要迭代的地方强大的python已经为我们提供了itertools内置库用来帮助开发人员更便捷的编码"
mycut = jieba.cut(mystr)
mycuttext = ",".join(mycut)
print(mycuttext)

运行结果：

编程,中,会,用到,很多,需要,迭代,的,地方,强大,的,python,已经,为,我们,提供,了,itertools,内置,库,用来,帮助,开发人员,更,便捷,的,编码

如果想把所有可能分词列举出，用cut_all=True参数，用法实例：

import jieba

mystr = "编程中会用到很多需要迭代的地方强大的python已经为我们提供了itertools内置库用来帮助开发人员更便捷的编码"
mycut = jieba.cut(mystr,cut_all=True)
mycuttext = ",".join(mycut)
print(mycuttext)

运行结果：

编程,中会,会用,用到,很多,需要,迭代,的,地方,强大,的,python,已经,为,我们,提供,了,itertools,内置,库,用来,帮助,开发,开发人员,发人,人员,更便,便捷,的,编码