北大开源中文分词工具包 pkuseg

最新推荐文章于 2024-08-08 08:13:29 发布

一只干巴巴的海绵

最新推荐文章于 2024-08-08 08:13:29 发布

阅读量1.3k

点赞数

分类专栏：自然语言处理

原文链接：https://github.com/lancopku/PKUSeg-python

版权

自然语言处理专栏收录该内容

10 篇文章 0 订阅

订阅专栏

pkuseg—GitHub地址
 北京大学开源分词工具pkuseg 初试与使用感受

北京大学语言计算与机器学习研究组研制推出一套全新中文分词工具包 pkuseg，这一工具包有如下三个特点：

高分词准确率：相比于其他的分词工具包，当使用相同的训练数据和测试数据，pkuseg 可以取得更高的分词准确率。
多领域分词：不同于以往的通用中文分词工具，此工具包同时致力于为不同领域的数据提供个性化的预训练模型。根据待分词文本的领域特点，用户可以自由地选择不同的模型。而其他现有分词工具包，一般仅提供通用领域模型。
支持用户自训练模型：支持用户使用全新的标注数据进行训练。

与 jieba、THULAC 等国内代表分词工具包进行性能比较

考虑到 jieba 分词和 THULAC 工具包等并没有提供细领域的预训练模型，为了便于比较，开发团队重新使用它们提供的训练接口在细领域的数据集上进行训练，用训练得到的模型进行中文分词。他们选择 Linux 作为测试环境，在新闻数据(MSRA)、混合型文本(CTB8)、网络文本(WEIBO)数据上对不同工具包进行了准确率测试。在此过程中，他们使用第二届国际汉语分词评测比赛提供的分词评价脚本，其中 MSRA 与 WEIBO 使用标准训练集测试集划分，CTB8 采用随机划分。对于不同的分词工具包，训练测试数据的划分都是一致的；即所有的分词工具包都在相同的训练集上训练，在相同的测试集上测试。

以下是在不同数据集上的对比结果：

同时，为了比较细领域分词的优势，开发团队比较了他们的方法和通用分词模型的效果对比。其中 jieba 和 THULAC 均使用了软件包提供的、默认的分词模型：

北大开源中文分词工具包 pkuseg从结果上来看，当用户了解待分词文本的领域时，细领域分词可以取得更好的效果。然而 jieba 和 THULAC 等分词工具包仅提供了通用领域模型。

该工具包已经在 GitHub 开源，编译、安装和使用说明

编译和安装

通过 pip 下载(自带模型文件)：pip install pkuseg。之后通过 import pkuseg 来引用。
从 github 下载(需要下载模型文件，见预训练模型)：将 pkuseg 文件放到目录下，通过 import pkuseg 使用，模型需要下载或自己训练。

使用方式

代码示例

代码示例1 使用默认模型及默认词典分词（如果用户无法确定分词领域，推荐使用默认模型分词）

import pkuseg

seg = pkuseg.pkuseg()           # 以默认配置加载模型
text = seg.cut('我爱北京天安门')  # 进行分词
print(text)#返回字符串列表

代码示例2 细领域分词（如果用户明确分词领域，推荐使用细领域模型分词）

import pkuseg

seg = pkuseg.pkuseg(model_name='medicine')  # 程序会自动下载所对应的细领域模型
text = seg.cut('我爱北京天安门')              # 进行分词
print(text)

代码示例3 设置用户自定义词典

import pkuseg
lexicon = ['北京大学', '北京天安门'] #希望分词时用户词典中的词固定不分开
seg = pkuseg.pkuseg(user_dict=lexicon) #加载模型，给定用户词典
text = seg.cut('我爱北京天安门') #进行分词
print(text)

代码示例4

import pkuseg
pkuseg.test('input.txt', 'output.txt', nthread=20) #对input.txt的文件分词输出到output.txt中，使用默认模型和词典，开20个进程

代码示例5

import pkuseg
pkuseg.train('msr_training.utf8', 'msr_test_gold.utf8', './models', nthread=20) #训练文件为'msr_training.utf8'，测试文件为'msr_test_gold.utf8'，模型存到'./models'目录下，开20个进程训练模型

参数说明

pkuseg.pkuseg(model_name='ctb8', user_dict=[])

model_name ：模型路径。默认是’ctb8’表示我们预训练好的模型(仅对pip下载的用户)。用户可以填自己下载或训练的模型所在的路径如model_name=’./models’。
user_dict ：设置用户词典。默认不使用词典。填’safe_lexicon’表示我们提供的一个中文词典(仅pip)。用户可以传入一个包含若干自定义单词的迭代器。

pkuseg.test(readFile, outputFile, model_name='ctb8', user_dict=[], nthread=10)