机器学习之ROC曲线

在机器学习中评价分类模型时经常会用到ROC曲线。
要学习ROC曲线首先得知道什么是TPR，什么是FPR。
TPR的英文全称为：True Positive Rate
FPR的英文全称为：False Positive Rate
中文解释为：
TPR（真正例率）：真实值是正例，且预测为正例的比例
FPR（假正例率）：真实值为负例，而预测为正例的比例
怎么感觉有些绕口令啊？
OK，看下图：

根据上图图示我们可以看到，真实的情况和预测的情况把整体分成了4个部分：
A部分：真实为正例，预测为正例
B部分：真实为正例，预测为负例
C部分：真实为负例，预测为正例
D部分：真实为负例，预测为负例

TPR = #(A) / #(A) + #(B)
FPR = #© / #© + #(D)

问：什么是正例，什么是负例？
这个是你自己设定的，比如说我们定义是美女就是正例，是如花就是负例
于是上文就变成了：

ROC曲线就是以TPR为Y轴，以FPR为X轴，然后以一个对不同的预测值进行分类.
当取不同阈值时会得到不同的TPR和FPR，对应于ROC曲线上的一个点。
那么ROC曲线就反映了FPR与TPR之间动态关系的情况。
通俗地来说，即在TPR随着FPR递增的情况下，谁增长得更快，快多少的问题。
TPR增长得越快，曲线越往上曲，反映了模型的分类性能就越好。
当正负样本不平衡时，这种模型评价方式比起一般的精确度评价方式 的好处尤其显著。

问：阈值到底是什么？是一个固定的值吗？比如说美女的比例
阈值不是一个固定的值，它是你随意指定的。先不要纠结于阈值是什么，下文看家ROC曲线是怎么画的你就知道它是什么了（其实什么都不是）

画ROC
下面举个例子吧：
公司来了10个同事，全都是姑娘，但是美不美不知道。早已磨刀霍霍的兄弟们开始八卦：到底有几位美女
同事A：有9位美女
同事B：有8位美女
同事C：有7位美女
同事D：有3位不美女
同事E：有2位不美女
同事F：有1位不美女

于是我们得到下面的概率矩阵：

分类	概率
美女(正例)	0.9
美女(正例)	0.8
美女(正例)	0.7
不是美女(负例)	0.3
不是美女(负例)	0.2
不是美女(负例)	0.1

ROC曲线的X轴和Y轴取值范围都是[0,1]，现在我们开始画图——根据从大到小遍历预测值，把当前的预测值当做阈值，计算FPR和TPR。

step1：选择阈值最大，即为1，正例中和反例中都没有预测值大于等于1的，所以FPR=TPR=0。

step2：根据上表，选择阈值为0.9，正例中有1个样本的预测值大于等于1，反例中有0个，所以，TPR=1/3，FPR=0。

step3：根据上表，选择阈值为0.8，正例中有2个样本的预测值大于等于1，反例中有0个，所以，TPR=2/3，FPR=0。

step4：根据上表，选择阈值为0.7，正例中有3个样本的预测值大于等于1，反例中有0个，所以，TPR=1，FPR=0。

step5：根据上表，选择阈值为0.3，正例中有3个样本的预测值大于等于1，反例中有1个，所以，TPR=1，FPR=1/3。

step6：根据上表，选择阈值为0.2，正例中有3个样本的预测值大于等于1，反例中有2个，所以，TPR=1，FPR=2/3。

step7：根据上表，选择阈值为0.1，正例中有3个样本的预测值大于等于1，反例中有3个，所以，TPR=1，FPR=1。

综上，我们得到下表

TPR	FPR
0	1/3
0	2/3
0	1
1/3	1
2/3	1
1	1

描点连线，画图如下：

OK明白了吗？在这里阈值是随意设的，设一个阈值以后会得到一组TPR和FPR；然后换个阈值再得到另外一组TPR和FPR，然后描点成线。
当然这里只是取了一种最特殊的情况。真实情况一般是这样的：

其中：
(0,0)表示：FPR=0，TPR=0。没有负样本预测错误（也就是负样本全部预测正确），正样本全部预测错误。这说明把全部样本都预测为了负样本。

(1,1)表示：FPR=1，TPR=1。负样本全部预测错误，正样本全部预测正确。这说明把全部样本都预测为了正样本。

(0,1)表示：FPR=0，TPR=1。负样本全部预测正确，正样本全部预测正确。这个模型很完美。

(1,0) 表示：FPR=1，TPR=0。负样本全部预测错误，正样本全部预测错误。这个模型太烂了。