NER 的评价指标

常见的基本概念

TP，FP，TN，FN，Accuracy 准确率，Precision 查准率(精确率) ，Recall 查全率(召回率)，F1 score等。

• TP: true positive。实际为正，预测为正。
• FP: false positive。实际为负，预测为正。
• TN: true negative。实际为负，预测为负。
• FN: false negative。实际为正，预测为负。

混淆矩阵

真实情况	预测结果
	正例	反例
正例	TP(真正例)	FN(假反例)
反例	FP(假正例)	TN(真反例)

各概念公式

准确率

$$\begin{gathered} Accuracy=\frac{分类正确的样本数}{总样本数} \\ 也就是Accuracy=\frac{TP+TN}{TP+TN+FP+FN} \end{gathered}$$

准确率最简单直观，但是正负样本数比例不均衡就会导致准确率很容易被比例大的样本影响。

查准率 P 和查全率 R

查准率：实际为正预测也为正的样本 占 所有被预测为正的样本的比例。

查全率：实际为正预测也为正的样本 占 实际为正的样本的比例。
$$\begin{gathered} P=\frac{TP}{TP+FP} \\ R=\frac{TP}{TP+FN} \end{gathered}$$
Precision 体现了模型对负样本的区分能力，Precision 越高，模型对负样本的区分能力越强；

Recall 体现了模型对正样本的识别能力，Recall 越高，模型对正样本的识别能力越强。

F1 score

F1-score：查准率和查全率的调和平均数。
$$F1=\frac{2\times P\times R}{P+R}$$
F1-score是 P 和 R 的综合，F1-score 越高，说明模型越稳健。

具体的 F1 详情可以参考这篇文章：机器学习 Micro-F1和Macro-F1详解

NER 的评价指标

# example
我	O
在	O
南	B-LOC
京	I-LOC

​ NER 评估分为 Tag 级别（B-LOC,I-LOC) 和 Entity 级别 (南京)，一般以 entity 的 micro F1-score 为准。因为 tag 预测准确率高但是抽取出的 entity 有误，例如边界错误，在实际应用时依旧抽取的是错误的实体。

​ 在 NER 中，一般由于 O 标签的实体过多造成了数据极度不均衡。分别针对每个实体标注都需要计算对应的 F1，最后再计算整体平均，这个称为 macro F1-score。