模型效果评估指标(ROC、AUC/KS、Lift、PSI)

以二分类问题为例
混淆矩阵(Confusion Matrix)
对测试集数据进行预测,得到下列混淆矩阵中的数据
在这里插入图片描述
注:TP、FN、FP、TN以预测的结果是否准确来命名。

预测模型评估指标的本质是从模型预测结果出发来度量模型性能优劣的,如分类模型从混淆矩阵中得到各种不同的性能指标,回归模型直接从预测结果与真实结果的偏差角度进行分析。

根据混淆矩阵计算召回率(Recall)和精准率(Precision)指标
R e c a l l = T P T P + F N Recall = \frac{TP}{TP+FN} Recall=TP+FNTP

P r e c i s i o n = T P T P + F P Precision = \frac{TP}{TP+FP} Precision=TP+FPTP

召回率与精准率是一对相互制约、此消彼长(负相关)的指标,实际应用中往往会牺牲某一指标来提高另一指标。

Gain的计算公式和Precision是一样的。

F1指标
F 1 = 2 × P r e c i s i o n × R e c a l l P r e c i s i o n + R e c a l l F_1 = \frac{2\times Precision\times Recall }{ Precision+Recall } F1=Precision+Recall2×Precision×Recall

F1指标综合考虑了召回率与精准率两个指标。

如果希望考虑更多的召回率或精准率,这有如下的变异形式,即 F β F_\beta Fβ指标:
F β = ( 1 + β 2 ) × P r e c i s i o n × R e c a l l β 2 × P r e c i s i o n + R e c

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值