Python Jieba、pkuseg分词入门案例

pkuseg
一个领域细分的中文分词工具包。
github:https://github.com/lancopku/PKUSeg-python

jieba
“结巴”中文分词：做最好的 Python 中文分词组件
github:https://github.com/fxsjy/jieba

安装脚本

pip install jieba
pip install pkuseg

example:

import pkuseg
import jieba

seg = pkuseg.pkuseg();
test_test = '''光伏产业的发展常常“出人意料”。虽然分析机构和行业协会每年都会做预测，但几乎每年都预测不准。曾有业内人士笑称光伏行业市场预测是“世界性难题”。

　　2020年光伏再次出人意表展现出强大韧性。在这一“疫情之年”，仍然实现了48.2GW国内新增装机量，创近三年新高。''';
text = seg.cut(test_test)

print("|".join(text))

text = jieba.cut(test_test, cut_all=False)
print("|".join(text))

默认分词效果：
多词库案例：

pkuseg用户自定义词库：