模型性能的度量和评估方法

一、ROC曲线和P-R曲线

1.precision、TPR（召回率）、FPR

首先在评估预测时会想到模型的正确率，也就是precision,但是在样本数不均衡的情况下此值没有意义
在二分类中通常用到 TPR 和 FPR

召回率 (Recall) = TPR = 查全率 ：正样本有多少被找出来了（召回了多少) - 或者预测的正样本的正确率
精确率 (Precision) = 查准率 ：预测认为的正样本，有多少猜对了（猜的准确性如何)
FPR： 预测的负样本的错误率
如图：

，图中圆圈内部是模型的预测的正样例值 ，圈外是模型预测的负样例（同时还能看到实际的正例和负例）取图形单词的首字母：
precision = TP / ( TP + FP )
recall = TPR = TP / (TP + FN )
FPR = FP / ( FP + TN )

2.ROC曲线和AUC指标

• 根据模型的预测结果对记录进⾏排序，按此顺序逐个对记录作为正样本进⾏预测，计算得到 FPR 和 TPR 。 以FPR为横轴，以TPR为纵轴，得到ROC曲线，同时曲线与坐标轴围成的面积是AUC指标
  
  模型ROC曲线有交叉时， AUC⼤的模型性能优于AUC⼩的模型

3.P - R 曲线

P = precision（查准率）
R = Recall = TPR （查全率）
所以：P - R 曲线 是以 R 为横坐标，以P为纵坐标得到的坐标系曲线，如图：

1 .平衡点⼤的模型性能优于平衡点⼩的模型
2 . 在医院的初筛指标中，我们更看重的是准确率和召回率。即需要召回率来看，诊断能否覆盖更多的病例，同时需要准确率来看，预测的准确性

二、Bias Variance Tradeoff

1. 直观来看 Bias Variance

训练数据集的loss与一般化的数据集的loss之间的差异就叫做泛化误差。分为Bias和Variance两个部分。bias和variance分别从两个方面来描述了我们学习到的模型与真实模型之间的差距。

Bias是 “用所有可能的训练数据集训练出的所有模型的输出的平均值” 与 “真实模型”的输出值之间的差异；Variance则是“不同的训练数据集训练出的模型”的输出值之间的差异。

2. Bias Variance 权衡

假设我们现在有一组训练数据，需要训练一个模型。

• 在训练过程的最初，bias很大，因为模型没有学习，也就是与“真实模型”差距很大。然而此时variance却很小，因为训练数据集还没有来得及对模型产生影响，所以此时将模型应用于“不同的”训练数据集也不会有太大差异。
• 训练过程的进行以后，bias变小了，模型越来越接近“真实模型”。但是训练得时间太久了，variance就会变得很大，模型除了学习到关于真实模型的信息，还学到了许多具体的，只针对训练集的信息。而不同的可能训练数据集之间的某些特征和噪声是不一致的，这就导致了我们的模型在很多其他的数据集上就无法获得很好的效果，也就是所谓的过拟合。
• 所以权衡的过程就是 Bias变小的过程又要保证Variance不要过分的变大的过程

四、 参考

1. 《机器学习》. 周志华
2. 《统计学习方法》. 李航
3. 机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)