本文探讨了在二分类模型中，AUC（曲线下面积）和正确率（ACC）可能存在不一致的情况。模型A正确率85%，AUC 0.98，模型B正确率93%，AUC 0.92。文章指出，正确率依赖于特定截断值，而AUC综合所有截断值，更适合处理偏态样本。因此，建议依据AUC选择模型，推荐使用AUC作为评估和比较分类器的单一指标。
1. 问题
当我们建立两个模型都是二分类的，并应用常见的Logistic回归模型得到结果如下：模型A的正确率为85%，AUC为0.98；模型B的正确率为93%，AUC为0.92。那么选择哪个模型呢？
很多朋友首先应该会质疑方法使用的正确性，不过出现这个问题的可能性很小，我们假设方法是正确的，主要探讨AUC和正确率矛盾的问题。
查阅文献，发现不少朋友也遇到同样的问题，更巧的是已有学者通过模拟研究证实矛盾的存在。下面图表中的最后一列展示的正是AUC和正确率结论的一致比例，较低可达93.5%。
2. 解释
接着我们从简单的理论出发解释一下，两者出现矛盾的可能原因。正确率是基于较佳的截断值计算的，所以很多朋友觉得他应该可靠。但是他们可能不知道， AUC是基于所有可能的截断值计算的，AUC应该更加稳健 。
怎么理解“稳健”这个词呢？
我们可以理解为计算正确率时所基于的较佳截断值并不是总体分布中的较佳截断值，正确率只是某个随机样本的一个属性指标。而AUC不关注某个截断值的表现如何，可以综合所有截断值的预测性能，所以正确率高，AUC不一定大，反之亦然。
“The implicit goal of AUC is to deal with situations where you have a skewed sample distr
最低0.47元/天 解锁文章
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
