2.2 什么是精确率(Precision)与召回率(Recall)?二者如何权衡?

精确率与召回率权衡:视频搜索排序模型的问题分析,
文章探讨了在视频搜索排序模型中,尽管Top5的精确率高,但用户仍难以找到冷门视频的原因在于召回率不足。通过P-R曲线和F1score,作者强调了综合评估模型性能的重要性,指出单点的精确率和召回率不足以全面评价,需考虑整个曲线和综合指标如F1score。

2.2 什么是精确率(Precision)与召回率(Recall)?二者如何权衡?

场景描述

Hulu提供视频的模糊搜索功能,搜索排序模型返回的Top 5的精确率非常高,但在实际使用过程中,用户还是经常找不到想要的视频,特别是一些比较冷门的剧集,这可能是哪个环节出了问题呢?

精确率(Precision)与召回率(Recall)定义

要回答这个问题,首先要明确两个概念,精确率和召回率

  • 精确率是指分类正确的正样本个数分类器判定为正样本的样本个数的比例。
  • 召回率是指分类正确的正样本个数真正的正样本个数的比例。

问题

排序问题中,通常没有一个确定的阈值把得到的结果直接判定为正样本或负样本,而是采用Top N 返回结果的Precision值和Recall值来衡量排序模型的性能,即认为模型返回的Top N的结果就是模型判定的正样本,然后计算前N个位置上的准确率Precision@N 和前N个位置上的召回率Recall@N。

具体

Precision 值和Recall值是既矛盾又统一的两个指标,为了提高Precision值,分类器需要尽量在“更有把握”时才把样本预测为正样本,但此时往往会因为过于保守而漏掉很多“没有把握”的正样本,导致Recall 值降低。

回到问题中来,模型返回的Precision@5的结果非常好,也就是说排序模型Top 5的返回值的质量是很高的。但在实际应用过程中,用户为了找一些冷门的视频,往往会寻找排在较

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值