排序类问题度量指标:Recall , MAP，MRR

信息检索领域的度量指标

对于给定的一个查询，返回了一系列文档。

1. Precision 精度：返回结果中相关文档的比重。P = 返回相关文档数/返回中文档数

2.Recall 召回率：返回结果中相关文档占总相关文档的比重。 Recall = 返回相关文档数/总相关文档数。

评价排序类问题的性能时，要同时考虑排序结果中相关个体的数目，也要考虑相关个体在整个列表中位置。当相关个体返回的越多，相关个体位置越靠前，说明该排序方法性能较好。

Precision 考虑的是结果的数量占比，并没有考虑结果的位置。于是，引入了AP（Average Precision）度量，该度量计算出返回结果的每个位置的Precision，对所有的Precision进行求平均值，如果某位置是不相关结果则不进行计算。

表1:5个相关结果

结果顺序	相关性	Precision
1	false	0
2	true	1/2=0.5
3	true	2/3=0.66
4	false	0
5	true	3/5=0.6
6	false	0
7	false	0
8	false	0
9	true	4/9=0.44
10	true	5/10=0.5
AP		0.54

表2:4个相关结果

结果顺序	相关性	Precision
1	true	1/1=1
2	true	2/2=1
3	false	0
4	true	3/4=0.75
5	true	4/5=0.8
6	false	0
7	false	0
8	false	0
9	false	0
10	false	0
AP		0.89

从表格中可以看出，对某个位置，只计算该位置之前（包括该位置在内）的所有相关结果在返回结果中的比重，对不相关结果不进行计算。从两个表中可以看出虽然表2中返回的相关结果<表1，但是因为表2中的相关结果比较靠前，所以计算出的AP值却比表1大。因此，AP可以对排序结果的位置进行度量。如上所述，AP是对一条查询结果的度量，MAP则是对所有查询结果的AP值进行平均，求得整个排序模型的性能。

MRR后续更新...

 

转载于:https://www.cnblogs.com/naplus/p/8987553.html