python计算召回率代码_序列标注的准确率和召回率计算

最近在用BiLSTM+CRF做命名实体识别问题。关于模型效果评估，很多提到用conlleval.pl来实现，conlleval.pl是perl语言写的，原谅我没看懂。最后还是决定自己写个程序算一算准确率和召回率。

公式

准确率 = 预测正确的实体个数 / 预测的实体总个数

召回率 = 预测正确的实体个数 / 标注的实体总个数

F1 = 2 *准确率 * 召回率 / (准确率 + 召回率)

实现

1、获取实体：包括预测的全部实体和标注的全部实体

对于一个标签序列，例如：'B-PER', 'I-PER', 'O', 'B-PER', 'I-PER', 'O', 'O', 'B-LOC', 'I-LOC'

实体对应的标签块是指：从B开头标签开始的，同一类型（PER/LOC/ORG）的，非O的连续标签序列

因此可以采用形如{(position, type): [label1, label2, ...]}这种格式的字典来存储实体，其中position为实体起始标签对应的序列下标索引，type为实体对应的类型，[label1, label2, ...]为实体对应的标签序列

从标签序列中抽取实体的代码如下：

def split_entity(label_sequence):
    entity_mark = dict()
    entity_pointer = None