模型评估指标
- 除了F1-Score以外,还有一类指标也可以很好的评估模型整体分类效力,即ROC曲线与AUC值
- 当然这二者其实是一一对应的,ROC(全称为Receiver operating characteristic,意为受试者特征曲线)是一个二维平面空间中一条曲线
- 而AUC则是曲线下方面积(Area Under Curve)的计算结果,是一个具体的值,也就是说,二者是同一个指标
- ROC曲线同样也是基于混淆矩阵衍生的二级指标来进行构建,该指标的计算有些类似于交叉熵的计算过程,会纳入分类模型的概率结果来进行模型性能的评估
ROC-AUC
绘制
- 先讨论曲线的绘制过程,模型还是逻辑回归
- 这里重点讨论分类模型的评估指标,理论上是不限模型的,只要是分类模型,且输出结果可看做是概率值即可
- 首先,假设逻辑回归对某一组数据分类结果如下,我们按照预测概率从大到小进行排序
- 我们从1开始逐渐降低阈值
- 在阈值取值范围为0.9-1之间时