机器学习-特征工程与模型评估4

模型评估

案例介绍
假设医生需要对病人的病情进行诊断，判读是否患有癌症，其判断准确率有92%。其中在1000名诊断病例中，有900名病人实际为正常，剩余的100名病人实际患病，这种情况下医生判断的足够准确吗？
准确率
准确率（accuracy）是分类模型最常用的评价标准，指正确预测数占输入样本总数的比例，无法准确描述正负样本不平衡以及多样本数量不平衡的情况（缺点）。


对数损失
对数损失（logarithmic loss）即对数似然损失，也称逻辑回归损失或者交叉损失，是在概率基础上定义的，常用于逻辑回归或神经网络分类中用于评估分类器的概率输出。

• Log Loss的损失值大于等于0，无上界。若损失值越接近于0，则模型分类效果越好；反之，则分类效果越差。
  混淆矩阵
  混淆矩阵（confusion matrix）以一张表格的形式来描述分类器模型在一组测试数据上的表现性能。下面是一个二分类的混淆矩阵表格，混淆矩阵很容易推广到多分类：
  
  
  精准率/召回率
  
  F分数
  精准率（precision）和召回率（recall）是机器学习分类中比较常用的指标，在大规模数据集中这两个指标通常是相互制约的，，所以实际情况下我们用F分数对于两个指标作出权衡作为最终的评价指标：
  
  ROC曲线
  ROC曲线指受试者工作特征曲线（receiver operating characteristic curve），是反映敏感性和特异性连续变量的综合指标。ROC曲线是按照不同阈值下TPR和FPR的变化绘制而出的。
  
  AUC
  AUC（Area Under Curve）被定义为ROC曲线下的面积，这个面积的数值不会大于1.又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围 [0.5，1]。