Lukarov‘s 假期学习笔记（四）

生活的常态就是摸鱼

---

机器学习性能度量

分类度量（续）

3. ROC与AUC

分类过程中，学习器为测试样本生产一个实值或概率预测，然后将预测值与分类阈值（threshold）作比较，大于阈值为正类，反之为反类。这个实值或概率预测结果的好坏，直接决定了学习器的泛化能力。

泛化能力（generalization ability）是指机器学习算法对新鲜样本的适应能力。

根据概率预测结果，我们可以对测试样本进行正排序，这样分类过程就相当于在排序中以某个“截断点”（cut point）将样本分为两部分。在不同的应用中可根据需求采用不同的截断点，例如重视“查准率”可以选择排序靠前的位置来截断，而重视“查全率”则选靠后的位置来截断。
ROC(Receiver Operating Characteristic，即受试者工作特征)曲线 同P-R曲线类似，根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，最终得出两个值，以“真正例率”（True Positive Rate，简称TPR，$TPR=\frac{TP}{TP+FN}$）为纵轴，以“假正例率”（False Positive Rate，简称FPR，$FPR=\frac{FP}{TN+FP}$）为横轴。
在实际情况下通常采用有限样本来绘制ROC图，得到的是散点图，过程为：给定$m^{+}$个正例和$m^{-}$个反例，即$m^{+}=TP+FN,m^{-}=TN+FP$，根据学习器预测结果对样例排序，然后把阈值设为最大，即把所有样例均预测为反例，此时TPR和FPR都为0，在(0,0)标记一个点，然后将分类阈值依次设为每个样例的预测值，即依次将每个样例划分为正例，设前一个标记点坐标为$(x,y)$，当前若为真正例，则对应标记点为$(x,y+\frac{1}{m^{+}})$，若为假正例，则对应标记点为$(x+\frac{1}{m^{-}},y)$，之后再连接两点即可。
通常通过 AUC(Area Under ROC Curve) 来比较学习器的优劣。