AUC
从AUC 判断分类器(预测模型)优劣的标准:
AUC = 1,是完美分类器。
AUC = [0.85, 0.95], 效果很好
AUC = [0.7, 0.85], 效果一般
AUC = [0.5, 0.7],效果较低,但用于预测股票已经很不错了
AUC = 0.5,跟随机猜测一样(例:丢铜板),模型没有预测价值。
AUC < 0.5,比随机猜测还差;但只要总是反预测而行,就优于随机猜测。
lift
TP(实际为正预测为正),FP(实际为负但预测为正),TN(实际为负预测为负),FN(实际为正但预测为负)
先介绍几个相关的指标,以免混淆:
准确率(accuracy,ACC):
正确率(Precision,PRE),查准率:
真阳性率(True Positive Rate,TPR),灵敏度(Sensitivity),召回率(Recall):
假阳性率(False Positice Rate,FPR),误诊率( = 1 - 特异度):
TP(实际为正预测为正),FP(实际为负但预测为正),TN(实际为负预测为负),FN(实际为正但预测为负)
理解:
模型预测为正且真实为正的数目
------------------------------------------
预测为正的数目
= ------------------------------------------------------------
实际为正的数目
------------------------------------------
总数目