auc 和loss_精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么?

模型评估应根据决策需求选择合适指标,如AUC、Precision、Recall、F1值等。AUC适用于样本不平衡情况,Precision关注预测正确的正例比例,Recall关注找出所有正例的能力。业务场景中,召回率可能更为重要,例如欺诈检测。模型评估还包括模型调优、筛选和业务决策,涉及多种指标和成本效益分析。
摘要由CSDN通过智能技术生成

模型评估有时候要用precision和recall,有时候用AUC,不存在优缺点问题,只存在适用性问题。

模型评估为啥不用precision和recall?因为它支持不了我的决策啊。。 同样的问题,根据不同情况,我可以问100个: 为啥这个模型评估不用AUC?而要用logloss,因为它支持不了我的决策啊 为啥这个模型评估不用logloss,而要用ROI?因为它支持不了我的决策啊 为啥这个模型不用ROI logloss而只用recall,因为recall更支持我的决策啊

还有为啥还有PRC啊,F1,KS值啊,ROI,logloss值等一大堆指标?这些有啥用?这应该是很多新手都会疑惑的问题。也是我当年作为小白,看了一点书也会问的问题,后来看了大量案例和实践才慢慢有了体会的,一知半解的初学者,无法理解。。学校里没业务sense的教授,大多也解释不清楚。。

总之

题主搞清楚,先有决策需求,再有评估方案和指标的。。。而不是问,为啥不是所有模型的评估都用这套P&R的指标?这是挺奇葩的认知。。手里拿着锤子,见啥都是钉子,敲一敲么?

........

为了增强您对“决策需求”这个问题的理解,针对您的提问,先举个例子吧:

assume两个老哥AB,各做了一个欺诈识别模型pk,谁赢了就升职,out了就裁员,对于原始分布测试集,A测出来是precision80% recall 50%,B测出来两项各是70%和60%,那个模型更好呢?

<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值