机器学习中常用的性能度量—— ROC 和 AUC

什么是泛化能力？

通常我们用泛化能力来评判一个模型的好坏，通俗的说，泛化能力是指一个机器学期算法对新样本（即模型没有见过的样本）的举一反三的能力，也就是学以致用的能力。

举个例子，高三的学生在高考前大量的刷各种习题，像五年高考三年模拟、三年高考五年模拟之类的，目的就是为了在高考时拿到一个好的分数，高考的题目就是新题，一般谁也没做过，平时的刷题就是为了掌握试题的规律，能够举一反三、学以致用，这样面对新的题目也能从容应对。这种规律的掌握便是泛化能力，有的同学很聪明，考上名校，很大程度上是该同学的泛化能力好。

在机器学习中，对于分类和回归两类监督学习，分别有各自的评判标准，这里我们讨论常用于分类任务的性能度量标准——AUC 和 ROC。

---

几个重要概念：混淆矩阵、准确率、精准率和召回率

1. 混淆矩阵

假设我们建立的是二分类模型，将实际类别和预测类别进行两两组合，就形成了混淆矩阵。

真实情况		预测结果
	正例	反例
正例	TP（真正例）	FN（假反例）
反例	FP（假正例）	TN（真反例）

接下来的性能度量指标都是由混淆矩阵的各个元素计算得来。

2. 准确率

$$准确率=\frac{TP+}{TP+TN+FP+FN}$$