CRF++模型预测的两种实现方式

  我们在文章NLP（三十三）利用CRF实现中文分词 中已经熟悉了CRF++模型训练和预测的流程。本文将介绍CRF++模型预测的两种实现方式，即使用subprocess模块和crfpy模块。
  我们的任务还是实现中文分词，假设我们已经用CRF++训练好了中文分词的模型，模型文件名为model。我们将用这个模型文件来实现CRF++的模型预测。
  模型预测的两种实现方式为：使用subprocess模块和crfpy模块。

subprocess模块实现方式

  subprocess 模块允许我们启动一个新进程，并连接到它们的输入/输出/错误管道，从而获取返回值。
  需要注意的是，在NLP（三十三）利用CRF实现中文分词 中我们实现中文分词功能的时候，输入的训练样本的每一行格式为汉字\t词性\t标签，其中标签为B-Char或I-Char。
  使用subprocess模块实现CRF++模型预测的脚本如下：

import subprocess

text = "上海迪士尼推出尊长季卡"
# 生成待预测的文本
with open("predict.data", "w", encoding="utf-8") as g:
    for char in text:
        g.write("%s\tn\tB-Char\n" % char)

# 使用subprocess模块调用训练好的CRF模型进行预测，生成预测文件predict_new.txt
ps = subprocess.Popen("crf_test -m model predict.data > predict_new.txt", shell=True)
ps.wait()

# 处理预测文件predict_new.txt，获取预测标签
with open("predict_new.txt", "r", encoding="utf-8") as f:
    content = [_.strip() for _ in f.readlines()]

predict_tags = [line.split("\t")[-1] for line in content]

# 输出预测结果
for char, tag in zip(text, predict_tags):
    print("{}\t{}".format(char, tag))

输出的预测结果如下：

上	B-Char
海	I-Char
迪	I-Char
士	I-Char
尼	I-Char
推	B-Char
出	I-Char
尊	B-Char
长	I-Char
季	B-Char
卡	I-Char

crfpy模块实现方式

  crfpy模块可以帮助我们加载训练好的CRF++模型，并实现模型预测功能。
  使用crfpy模块实现CRF++模型预测的脚本如下：

import CRFPP

# 加载模型文件
CRF_MODEL_PATH = "model"
tagger = CRFPP.Tagger("-m %s" % CRF_MODEL_PATH)

text = "上海迪士尼推出尊长季卡"
# 形成预测样本
tagger.clear()
for word in text:
    tagger.add("{} n B-char".format(word))
tagger.parse()
size = tagger.size()

# 获取模型预测标签
predict_tags = [tagger.y2(i)for i in range(0, size)]

# 输出预测结果
for char, tag in zip(text, predict_tags):
    print("{}\t{}".format(char, tag))

输出的预测结果同上。

  本次分享到此结束，感谢阅读~