北京大学开源分词工具pkuseg 初试与使用感受

本部分内容部分来自：https://github.com/lancopku/PKUSeg-python

1.前言

最近看到一些博文介绍了北大的一个开源的中文分词工具包pkuseg。其中说到，它在多个分词数据集上都有非常高的分词准确率，我们所知道的，也经常使用的结巴分词误差率高达 18.55% 和 20.42，而北大的 pkuseg 只有 3.25% 与 4.32%。当然还有其他的分词工具，如：清华大学的THULAC，HanLp,pynlpir等工具。分词的重要性不言而喻，在看到相关介绍后也在第一时间去尝试一下，以下根据github开源信息做出实验，其使用的语言是python。github地址为：https://github.com/lancopku/PKUSeg-python。

2.简介

pkuseg是由北京大学语言计算与机器学习研究组研制推出的一套全新的中文分词工具包。pkuseg具有如下几个特点：

1. 高分词准确率。相比于其他的分词工具包，该工具包在不同领域的数据上都大幅提高了分词的准确度。根据测试结果，pkuseg分别在示例数据集（MSRA和CTB8）上降低了79.33%和63.67%的分词错误率。
2. 多领域分词。该分词包训练了多种不同领域的分词模型。根据待分词的领域特点，用户可以自由地选择不同的模型。
3. 支持用户自训练模型。支持用户使用全新的标注数据进行训练。

3.工具使用

3.1安装

方式1.程序包下载安装