上一篇文章,梳理了回归任务(定量预测模型)的好坏,本篇将着重介绍分类任务(定性预测模型)的评估。
归纳起来,评估分类预测模型常用一个矩阵、三条曲线和六个指标。
- 一个矩阵:混淆矩阵;
- 六个指标:正确率/错误率、查全率、查准率、特异度、F值、提升指数;
- 三条曲线:ROC曲线、PR曲线、KS曲线;
本文章先介绍指标。
混淆矩阵
混淆矩阵(confusionmatrix),衡量的是一个分类器分类的准确程度,是分类预测模型的基础,绝大多数评估指标都以由混淆矩阵得到。 混淆矩阵,以矩阵的形式表达了真实的类别与预测的类别的交叉计数表。一般情况下,矩阵的行表示真实的类别,列表示预测的类别。 混淆矩阵,如下所示: 其中,符号的含义如下:- TP(True Positive):真正类,将正类预测为正类的个数;
- FN(False Negative):假负类,将正类预测为负类的个数;
- FP(False Positi