模型评估有时候要用precision和recall,有时候用AUC,不存在优缺点问题,只存在适用性问题。
模型评估为啥不用precision和recall?因为它支持不了我的决策啊。。 同样的问题,根据不同情况,我可以问100个: 为啥这个模型评估不用AUC?而要用logloss,因为它支持不了我的决策啊 为啥这个模型评估不用logloss,而要用ROI?因为它支持不了我的决策啊 为啥这个模型不用ROI logloss而只用recall,因为recall更支持我的决策啊
还有为啥还有PRC啊,F1,KS值啊,ROI,logloss值等一大堆指标?这些有啥用?这应该是很多新手都会疑惑的问题。也是我当年作为小白,看了一点书也会问的问题,后来看了大量案例和实践才慢慢有了体会的,一知半解的初学者,无法理解。。学校里没业务sense的教授,大多也解释不清楚。。
总之
题主搞清楚,先有决策需求,再有评估方案和指标的。。。而不是问,为啥不是所有模型的评估都用这套P&R的指标?这是挺奇葩的认知。。手里拿着锤子,见啥都是钉子,敲一敲么?
........
为了增强您对“决策需求”这个问题的理解,针对您的提问,先举个例子吧:
assume两个老哥AB,各做了一个欺诈识别模型pk,谁赢了就升职,out了就裁员,对于原始分布测试集,A测出来是precision80% recall 50%,B测出来两项各是70%和60%,那个模型更好呢?
<