CRF/CRF++工具简单使用案例——分词篇

最新推荐文章于 2022-12-21 20:06:34 发布

订个小目标，每天学亿点

最新推荐文章于 2022-12-21 20:06:34 发布

阅读量1k

点赞数 1

文章标签：机器学习 python

本文链接：https://blog.csdn.net/sixteen_16/article/details/116033470

版权

CRF/CRF++工具简单使用案例——分词篇

一、语料准备

从网上下载一份人民日报语料(data.txt)，并采用分词工具对其进行分词处理，。效果如下：（每一句话为一行）

北京/金融街/是/首都/金融/主/中心区/，/“/一/行/三/会/”/和/近/2000/家/国/内/外/大型/金融/机构/及/国企/总部/汇聚/于/此/，/资产/规模/占/全国/金融/机构/资产/规模/的/40%/，/是/全国/一/平方公里/高端/产业/最/聚集/、/创造/价值/最大/的/区域/。/

二、语料处理

对原始数据(data.txt)进行处理，分别生成训练集（train.txt）和测试集(test.txt)。处理后效果如下：（每一句话后需作空行处理）

北    B-word
京    E-word
金    B-word
融    I-word
街    E-word
是    S-word
首    B-word
都    E-word

B-word：指一个单词的开头，例如北京的’北’，金融街的’金’。
E-word：指一个单词的结尾，例如北京的’京’，金融街的’街’。
I-word：指一个单词的中间，例如金融街的’融‘，天安门的’安‘。
S-word：代表一个课单独存在的字，例如’的‘、‘是’。

三、使用CRF++工具

从网上下载CRF++工具，将训练集（train.txt）和测试集(test.txt)文本放入同一文件夹，然后根据指令对训练集进行训练，生成模型。

1. 打开命令行窗口

在保存CRF++工具的文件路径导航栏中输入CMD，打开命令行窗口
在这里插入图片描述

2. 训练

输入训练指令进行训练，生成模型。

crf_learn template train.txt model

在这里插入图片描述

3. 测试

输入测试指令，并将测试结果存入output.txt

crf_test -m model test.txt >output.txt

在这里插入图片描述
测试结果（output.txt）效果如下：

北    B-word    B-word
京    E-word    E-word
金    B-word    B-word
融    I-word    I-word
街    E-word    E-word
是    S-word    S-word
首    B-word    B-word
都    E-word    E-word

4. 评估

输入测评指令，并将测评结果存入result.txt。

perl conlleval.pl -r -d "\t" < output.txt > result.txt

注意：因用到perl指令，需安装perl的环境。网上下载conlleval.pl拷贝到当前CRF++工具文件夹的下面即可。
在这里插入图片描述
评估结果（result.txt）效果如下：

processed 544 tokens with 544 phrases; found: 544 phrases; correct: 476.
accuracy:  87.50%; precision:  87.50%; recall:  87.50%; FB1:  87.50
       B-word: precision:  85.92%; recall:  93.85%; FB1:  89.71  213
       E-word: precision:  84.98%; recall:  92.82%; FB1:  88.73  213
       I-word: precision:  91.67%; recall:  78.57%; FB1:  84.62  24
       S-word: precision:  95.74%; recall:  71.43%; FB1:  81.82  9