conlleval.perl的踩坑记录

因为是在conll03上做的NER任务，所以自然使用的是官方的评测脚本，那就是conlleval.perl。但是这个文件是用perl写成的，看起来很吃力，所以我就拿过来直接用，结果踩了不少坑。

首先需要配置perl环境，不过用conda或者pip可以直接下。

其次conlleval.perl接受的输入是这个样子的：

El          0       0
consejero   0       0
de          0       B-MISC
Economía    B-MISC  I-MISC
Industria   I-MISC  I-MISC
Comercio    I-MISC  I-MISC
Manuel      B-PER   B-PER
Amigo       I-PER   I-PER

注意上面使用的是BIO标注法，而不是BIOES标注法。如果你模型的输出是BIOES标注的，需要把E(end)转化为I，S(single)转化为B。

最坑的一点，是需要把所有的O标注都转化为0，然后才能写到文件里。

按照上面的要求写好文件之后，在你的python脚本里调用如下命令即可。

os.system("perl {} < {} > {}".format(FLAGS.perl_path, FLAGS.predict_path, FLAGS.metric_path))

出来的结果应该是类似于这样的：

如果出来的格式不太一样，那就是你写到文件里的标签还是不符合要求了。