相关的评价标准
NDGG也是用来衡量排序质量的指标
Precision
此时是根据阈值K来确定检索的精度。
如下图的例子,对于一次检索,我们可以获得已经排序好的返回的文档,假设一共有R个,此时不同的K有不同的检索精度,如果只看前3个返回的文本。那么此时对应3个样本的精度为Prec@3 = 2/3。
average precision
此时的average precision仍然是对应于一次检索,每次设定一个阈值K,此K位置上的样本是相关的样本即正确的样本,那么我们就能计算出一次精度,对于一次检索,假设一共有R个样本,那么,阈值的选取【
K
1
,
K
2
.
.
.
.
.
.
.
K
R
K_1,K_2.......K_R
K1,K2.......KR】其中下标即为阈值。
mean average precision
mean average precision 对于不同样本的多次检索,计算平均检索精度。
MAP注意
- 如果相关的样本没有被检索到,那么定义此处的检索精度为0
- MAP是比average precision更上一层的平均。
- MAP更感兴趣的是在检索中返回的样本相关性更高。
图像检索的AP和MAP
MRR
DCG