评价指标
对于自然语言处理(NLP)、机器学习(ML)、信息检索(IR)等领域,评估(Evaluation)是一个必要的工作,而这其中所涉及到的评价指标一般包括:准确率(Accuracy)、精确率(Precision)、召回率(Recall)以及F1-measure
TP(True Positive)、TN(True Negative)、FP(False Positive)、FN(False Negative),混淆矩阵
Tables | 相关(Relevant),正类 | 无关(Non-relevant),负类 |
---|---|---|
被检索(Retrieved) | TP | FP |
未被检索到(Not Retrieved) | FN | TN |
* 准确率(Accuracy):
acc=TP+TNTP+TN+FP+FN
a
c
c
=
T
P
+
T
N
T
P
+
T
N
+
F
P
+
F
N
* 精确率(Precision):
P=TPTP+FP
P
=
T
P
T
P
+
F
P
* 召回率(Recall):
R=TPTP+FN
R
=
T
P
T
P
+
F
N
* 综合评价指标(F-measure):
F=α2+1α2×P×RP+R
F
=
α
2
+
1
α
2
×
P
×
R
P
+
R
当参数
α=1
α
=
1
时,就是F1,即
F1=21P+1R=2×P×RP+R
F
1
=
2
1
P
+
1
R
=
2
×
P
×
R
P
+
R
为P和R的调和平均值