2.2 什么是精确率(Precision)与召回率(Recall)?二者如何权衡?
场景描述
Hulu提供视频的模糊搜索功能,搜索排序模型返回的Top 5的精确率非常高,但在实际使用过程中,用户还是经常找不到想要的视频,特别是一些比较冷门的剧集,这可能是哪个环节出了问题呢?
精确率(Precision)与召回率(Recall)定义
要回答这个问题,首先要明确两个概念,精确率和召回率。
- 精确率是指分类正确的正样本个数占分类器判定为正样本的样本个数的比例。
- 召回率是指分类正确的正样本个数占真正的正样本个数的比例。
问题
在排序问题中,通常没有一个确定的阈值把得到的结果直接判定为正样本或负样本,而是采用Top N 返回结果的Precision值和Recall值来衡量排序模型的性能,即认为模型返回的Top N的结果就是模型判定的正样本,然后计算前N个位置上的准确率Precision@N 和前N个位置上的召回率Recall@N。
具体:
Precision 值和Recall值是既矛盾又统一的两个指标,为了提高Precision值,分类器需要尽量在“更有把握”时才把样本预测为正样本,但此时往往会因为过于保守而漏掉很多“没有把握”的正样本,导致Recall 值降低。
回到问题中来,模型返回的Precision@5的结果非常好,也就是说排序模型Top 5的返回值的质量是很高的。但在实际应用过程中,用户为了找一些冷门的视频,往往会寻找排在较
精确率与召回率权衡:视频搜索排序模型的问题分析,

文章探讨了在视频搜索排序模型中,尽管Top5的精确率高,但用户仍难以找到冷门视频的原因在于召回率不足。通过P-R曲线和F1score,作者强调了综合评估模型性能的重要性,指出单点的精确率和召回率不足以全面评价,需考虑整个曲线和综合指标如F1score。
最低0.47元/天 解锁文章
4万+

被折叠的 条评论
为什么被折叠?



