pkuseg
一个领域细分的中文分词工具包。
github:https://github.com/lancopku/PKUSeg-python
jieba
“结巴”中文分词:做最好的 Python 中文分词组件
github:https://github.com/fxsjy/jieba
安装脚本
pip install jieba
pip install pkuseg
example:
import pkuseg
import jieba
seg = pkuseg.pkuseg();
test_test = '''光伏产业的发展常常“出人意料”。虽然分析机构和行业协会每年都会做预测,但几乎每年都预测不准。曾有业内人士笑称光伏行业市场预测是“世界性难题”。
2020年光伏再次出人意表展现出强大韧性。在这一“疫情之年”,仍然实现了48.2GW国内新增装机量,创近三年新高。''';
text = seg.cut(test_test)
print("|".join(text))
text = jieba.cut(test_test, cut_all=False)
print("|".join(text))
默认分词效果:
多词库案例:
pkuseg用户自定义词库: