推荐系统中评估指标的精准率,准确率,召回率,P-R曲线,ROC曲线,AUC曲线

准确率:指分类正确的总样本个数的比例
精准率:指分类正确的正样本个数占分类器判定为正样本的样本个数的比例
召回率:分类正确的正样本个数占真正的正样本个数的比例
为了综合评估一个排序模型的好坏,不仅要看模型在不同TopN下的精准率和召回率,而且最好的绘制出模型的P-R曲线。
P-R曲线的横轴为召回率,纵轴为精准率。
在用P-R曲线评估模型时,只用某个点对应的精准率和召回率时不能全面的衡量模型的性能,只有通过P-R曲线的整体表现,才能够对模型进行更为全面的评估
均方根误差:
在这里插入图片描述
一般情况下,RMES能够很好的反映回归模型预测值于真实值的偏离程度,但是在实际问题中,如果存在个别偏离程度非常大的离群点时,即使离群点数量非常少,也会让RMES指标表得很差。针对这个问题解决方案:
1、认定这些离群点是“噪声点”的话,就需要在数据预处理的阶段把这些噪声点过滤点
2、如果不认为这些离群点是噪声点,那就进一步需要提高模型的预测能力,这些离群点产生的机制建模进去。
3、找个更好的指标来评估模型,而平均绝对百分比误差(MAPE)它相当于把每个点的误差进行了归一化,降低个别离群点带来的绝对误差的影响
在这里插入图片描述
ROC曲线:作为评估二分类器最重要的指标之一。
ROC曲线的横坐标为假阳性率(FPR)和纵坐标为真阳性率(TPR),
在这里插入图片描述
P为真实的正样本的数量,N为真实的负样本数量,TP是P个正样本被分类器预测的个数,FP是N个负样本中被分类器预测得正样本的个数
举例说明:医院给10个疑似癌症患者,其中3名是确诊患了癌症(P=3),另外7名不是癌症患者(N=7),医院给10人全部做检查,诊断出3名确诊,其中真正确诊的只有2名(TP),对于7名非癌症患者来说,有1名为癌症患者(FP)。
所以真阳性率为TPR=TP/P=2/3,假阳性率为FPR=FP/N=1/7
这组分类的结果就对应的ROC曲线上的一个点(1/7,2/3)
绘制ROC曲线:
事实上,ROC曲线是通过不断移动分类器的“截断点”来生成曲线上的一组关键点,
而截断点指的是正负预测结果的阈值,相当于考试用60分代表是否及格一样的道理,只不过ROC曲线上的及格分数是个动态变化的而已。且横纵坐标最大的值为1。
ROC曲线的起始点是(0,0),终点为(1,1)
AUC曲线:指的是ROC曲线下的面积大小,该值能够量化地反应出基于ROC曲线衡量出的模型性能,一般AUC的取值在0.5-1之间,AUC越大,说明分类器越可能把真正的正样本排在前面,分类性能越好。
P-R曲线与ROC曲线的区别:
当正负样本的分布发生变化时,ROC曲线的形状能够基本保持不变,而P-R曲线的形状一般回发生强烈的变化。
在这里插入图片描述
由于ROC曲线基本不变化,这个特点让ROC曲线能够尽量降低不同测试集带来的干扰,更加客观地衡量模型本身的性能。
如果希望看到模型在特定数据集上的表现,P-R曲线则能够更直观地反映其性能。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值