详细解释mAP@10,mAR@10,Prec@10

系列文章目录



在信息检索和推荐系统中,mAP@10、mAR@10和Prec@10是常用的评价指标,它们用于衡量检索结果的质量。以下是对这三个指标的详细解释:

1. 精确度(Precision, Prec@N)

精确度是指在检索结果中,相关文档占总检索结果的比例。具体来说,Prec@10表示在前10个检索结果中,有多少个是相关的。计算公式为:

Prec@10 = Relevant Documents in Top 10 Total Documents in Top 10 = T P T P + F P \text{Prec@10} = \frac{\text{Relevant Documents in Top 10}}{\text{Total Documents in Top 10}} = \frac{TP}{TP + FP} Prec@10=Total Documents in Top 10Relevant Documents in Top 10=TP+FPTP

其中:

  • T P TP TP 是真正例(相关文档)。
  • F P FP FP 是假正例(不相关文档)。

2. 平均精确度(Mean Average Precision, mAP@N)

平均精确度是对多个查询的精确度进行平均。mAP@10表示对所有查询的平均精确度,计算时考虑前10个结果。具体计算步骤如下:

  1. 对每个查询,计算其在前10个结果中的精确度。
  2. 对所有查询的精确度取平均值。

公式为:

mAP@10 = 1 Q ∑ i = 1 Q Prec@10 i \text{mAP@10} = \frac{1}{Q} \sum_{i=1}^{Q} \text{Prec@10}^i mAP@10=Q1i=1QPrec@10i

其中 ( Q ) 是查询的总数。

3. 平均召回率(Mean Average Recall, mAR@N)

平均召回率是衡量检索系统找回相关文档的能力。mAR@10表示在前10个检索结果中,找回的相关文档占所有相关文档的比例。计算公式为:

mAR@10 = 1 Q ∑ i = 1 Q Recall@10 i \text{mAR@10} = \frac{1}{Q} \sum_{i=1}^{Q} \text{Recall@10}^i mAR@10=Q1i=1QRecall@10i

其中,Recall@10的计算为:

Recall@10 = Relevant Documents in Top 10 Total Relevant Documents = T P T P + F N \text{Recall@10} = \frac{\text{Relevant Documents in Top 10}}{\text{Total Relevant Documents}} = \frac{TP}{TP + FN} Recall@10=Total Relevant DocumentsRelevant Documents in Top 10=TP+FNTP

其中:

  • F N FN FN 是假负例(未检索到的相关文档)。

总结

  • Prec@10 衡量在前10个结果中相关文档的比例。
  • mAP@10 是多个查询的平均精确度,反映整体检索性能。
  • mAR@10 衡量在前10个结果中找回的相关文档占所有相关文档的比例,反映检索的全面性。

这些指标共同提供了对检索系统性能的全面评估,帮助研究者和工程师优化其算法和模型。

Epoch 1 [38.4 s] loss=1.1197 [0.0 s] Epoch 2 [19.6 s] loss=0.7469, map=0.0661, prec@1=0.1755, prec@5=0.0869, prec@10=0.0630, recall@1=0.0252, recall@5=0.0613, recall@10=0.0885, [626.0 s] Epoch 3 [19.7 s] loss=0.5829 [0.0 s] Epoch 4 [19.5 s] loss=0.4982, map=0.0783, prec@1=0.1951, prec@5=0.0974, prec@10=0.0716, recall@1=0.0295, recall@5=0.0714, recall@10=0.1039, [628.0 s] Epoch 5 [23.9 s] loss=0.4435 [0.0 s] Epoch 6 [20.7 s] loss=0.4032, map=0.0830, prec@1=0.1894, prec@5=0.1039, prec@10=0.0767, recall@1=0.0295, recall@5=0.0772, recall@10=0.1125, [599.4 s] Epoch 7 [60.0 s] loss=0.3728 [0.0 s] Epoch 8 [29.7 s] loss=0.3487, map=0.0854, prec@1=0.1919, prec@5=0.1065, prec@10=0.0782, recall@1=0.0295, recall@5=0.0790, recall@10=0.1147, [588.8 s] Epoch 9 [27.3 s] loss=0.3271 [0.0 s] Epoch 10 [23.7 s] loss=0.3083, map=0.0888, prec@1=0.2027, prec@5=0.1109, prec@10=0.0806, recall@1=0.0316, recall@5=0.0831, recall@10=0.1180, [570.3 s] Epoch 11 [30.1 s] loss=0.2936 [0.0 s] Epoch 12 [25.7 s] loss=0.2786, map=0.0883, prec@1=0.1951, prec@5=0.1079, prec@10=0.0796, recall@1=0.0306, recall@5=0.0807, recall@10=0.1172, [576.2 s] Epoch 13 [50.6 s] loss=0.2659 [0.0 s] Epoch 14 [35.1 s] loss=0.2540, map=0.0918, prec@1=0.2033, prec@5=0.1119, prec@10=0.0825, recall@1=0.0321, recall@5=0.0841, recall@10=0.1213, [574.4 s] Epoch 15 [25.8 s] loss=0.2427 [0.0 s] Epoch 16 [22.4 s] loss=0.2342, map=0.0924, prec@1=0.2014, prec@5=0.1145, prec@10=0.0841, recall@1=0.0317, recall@5=0.0862, recall@10=0.1231, [575.3 s] Epoch 17 [27.1 s] loss=0.2246 [0.0 s] Epoch 18 [23.5 s] loss=0.2171, map=0.0914, prec@1=0.1972, prec@5=0.1119, prec@10=0.0827, recall@1=0.0314, recall@5=0.0847, recall@10=0.1222, [572.8 s] Epoch 19 [22.5 s] loss=0.2087 [0.0 s] Epoch 20 [21.7 s] loss=0.2027, map=0.0939, prec@1=0.2068, prec@5=0.1137, prec@10=0.0837, recall@1=0.0328, recall@5=0.0859, recall@10=0.1237, [575.0 s] Epoch 21 [23.8 s] loss=0.1962 [0.0 s] Epoch 22 [20.7 s] loss=0.1912, map=0.0949, prec@1=0.2043, prec@5=0.1154, prec@10=0.0856, recall@1=0.0327, recall@5=0.0876, recall@10=0.1269, [563.9 s] 400字结果分析
05-19
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值