对命名实体识别系统的发展来说,对系统的全面评估是必不可少的, 许多系统被要求根据它们标注文本的能力来对系统进行排序。目前,通常采用的评估指标主要有正确率、召回率和F值,它们的定义如下:
正确率 = 识别出的正确实体数 / 识别出的实体数
召回率 = 识别出的正确实体数 / 样本的实体数
两者的取值都在 0 和 1 之间,数值越接近1,正确率或召回率就越高。正确率和召回率有时会出现矛盾的情况,这是需要综合考虑它们的加权调和平均值,也就是* F 值*,其中最常用的 F1 值,当 F1 值较高时说明试验方法比较有效。F1 值定义如下:
F1值 = (2 * 正确率 * 召回率)/(正确率 + 召回率)