1.精确率、召回率
行表示预测的label,列表示正确的label。
TP、TN表示预测正确;FP、FN表示预测错误。
(1)准确率
A
c
c
=
(
T
P
+
T
F
)
/
(
T
P
+
T
N
+
F
N
+
F
P
)
Acc=(TP+TF)/(TP+TN+FN+FP)
Acc=(TP+TF)/(TP+TN+FN+FP)
表示分类正确的样本概率
(2)精确率
P
r
e
c
i
s
i
o
n
=
T
P
/
(
T
P
+
F
P
)
Precision=TP/(TP+FP)
Precision=TP/(TP+FP)
表示预测结果中,预测为正样本中,预测正确的概率
(3)召回率
R
e
c
a
l
l
=
T
P
/
(
T
P
+
F
N
)
Recall=TP/(TP+FN)
Recall=TP/(TP+FN)
表示原始样本的正样本中,正确预测为正样本的概率。
2.MAP(Mean Average Precision)
AP:
如果你的搜索结果出现10个,这10个中都与查询信息相关,那么这是最好的结果,但是,如果只有5个相关,这5个都比较靠前,这个结果也不错。但如果5个相关位置靠后,从第6个位置相关,则这种情况比较差。类似于顺序版的“Recall”。
推荐列表中的排序 | 是否在ground-truth中 | 该位置的precision |
---|---|---|
1 | 0 | 0 |
2 | 1 | 1/2=0.5 |
3 | 1 | (1+1)/3=0.66 |
4 | 0 | 0 |
5 | 1 | (1+1+1)/5=0.6 |
6 | 0 | 0 |
MAP = (0.5+0.66+0.6)/3 =0.58
3.Rank-n
搜索结果中最靠前(置信度最高)的n个结果有正确结果的概率
例如:label=m1
如果搜索结果为m1,m2,m3 ,则Rank-1=100%,Rank-2=100%,Rank-3 =100%;
如果搜索结果为m2,m3,则Rank-1=0,Rank-2=0;
如果搜索结果为m2,m3,m1,则Rank-1=0,Rank-2=0,Rank-3=100%。
当Label很多时,取平均。