模型评估
案例介绍
假设医生需要对病人的病情进行诊断,判读是否患有癌症,其判断准确率有92%。其中在1000名诊断病例中,有900名病人实际为正常,剩余的100名病人实际患病,这种情况下医生判断的足够准确吗?
准确率
准确率(accuracy)是分类模型最常用的评价标准,指正确预测数占输入样本总数的比例,无法准确描述正负样本不平衡以及多样本数量不平衡的情况(缺点)。
对数损失
对数损失(logarithmic loss)即对数似然损失,也称逻辑回归损失或者交叉损失,是在概率基础上定义的,常用于逻辑回归或神经网络分类中用于评估分类器的概率输出。
- Log Loss的损失值大于等于0,无上界。若损失值越接近于0,则模型分类效果越好;反之,则分类效果越差。
混淆矩阵
混淆矩阵(confusion matrix)以一张表格的形式来描述分类器模型在一组测试数据上的表现性能。下面是一个二分类的混淆矩阵表格,混淆矩阵很容易推广到多分类:
精准率/召回率
F分数
精准率(precision)和召回率(recall)是机器学习分类中比较常用的指标,在大规模数据集中这两个指标通常是相互制约的,,所以实际情况下我们用F分数对于两个指标作出权衡作为最终的评价指标:
ROC曲线
ROC曲线指受试者工作特征曲线(receiver operating characteristic curve),是反映敏感性和特异性连续变量的综合指标。ROC曲线是按照不同阈值下TPR和FPR的变化绘制而出的。
AUC
AUC(Area Under Curve)被定义为ROC曲线下的面积,这个面积的数值不会大于1.又由于ROC曲线一般都处于y=x这条直线的上方,所以AUC的取值范围 [0.5,1]。