（《机器学习》完整版系列）第2章 模型评估与选择 ——2.3 恭喜：高考你被录取了！

回顾高考招生，分两步完成的，第一步，考试及阅卷（给样本打分）；第二步，录取。本文以此趣例为背景，讨论：
1、学习器的P-R曲线：学习器P-R曲线越向右凸越好。
2、学习器的ROC曲线及曲线以下的面积AUC，学习器的AUC，越大越好；学习器ROC越向上/左凸越好。
3、ROC曲线画法。

高考的“打分器+录取器”

回顾高考招生，分两步完成的，第一步，考试及阅卷：通过试卷给每个学生打一个分数，这个可视为回归预测（给样本打分）；第二步，录取。 现在我们做录取预测：在分数排序的基础上，根据需要的名额对“分数”进行划线“录取”，预测录取的样本即预测为正例，预测未录取的即预测为负例（亦称反例），与二分类器不同的是，这里仅通过分数线做录取预测，不妨称为录取器。 然而，实际的录取（样本的标记）又不仅仅看分数，例如，因志愿或体检原因使得高分未取（产生假正例），或因特长破格等原因使得低分录取了（产生假负例）。

二分类可以借鉴该方法，分为两步来实现：先用一个学习器进行回归预测，然后，再在分数排序的基础上进行划线分类，即二分类器=（回归）学习器+录取器。 对于一个学习器$h$（实例化了的回归模型）确定的分数（排序），可以根据不同的录取数（或划线）得到不同的录取预测（通过录取器），这是个“一对多”的关系，借助这个关系，可以通过观察分数排序在各种录取额度上的表现来评价该学习器，这就是后续小节讨论的内容。 就像出好高考试卷对于录取质量至关重要，选择好的回归学习器对相应的二分类器也至关重要。

P-R曲线

设回归学习器（不妨称为打分器）对$m$个测试样本进行了打分预测，按分数从高到低排序样本，设为
$$({\mathbf{x}}_1,+),({\mathbf{x}}_2,+),({\mathbf{x}}_3,-),\cdots ({\mathbf{x}}_{m-1},+),({\mathbf{x}}_m,-)\text{\hspace{1em}(1)}$$
其中，“$+$”表示实际录取了，“$-$”表示实际未录取。

现有一按分数“择优录取”的录取器，将上述排序分数输入录取器，并给定录取“名额”（不是指实际录取的名额，而是用于检验录取器的假定名额）作为超参数，由录取器进行录取预测。

假定给录取器的“名额”只有一个，则录取预测为

该预测结果再结合录取的实际（样本的标记）情况，则可以得到该测试集上的混淆矩阵，从而算出查全率$R$和查准率$P$，这是在一个录取名额下的计算，我们对度量指标添加下标表示“名额”，则这对度量数据可记为$(R_1,P_1)$。

假定给录取器的“名额”为2，则录取预测为

则仿上述可计算$(R_2,P_2)$。

逐步增加录取器的“名额”，则有$(R_3,P_3),(R_4,P_4),\cdots ,(R_m,P_m)$。

将$(R_1,P_1),(R_2,P_2),\cdots ,(R_m,P_m)$作为坐标系$O-RP$（查全率$R$为横轴，查准率$P$为纵轴）中的点，连接这些点则得到该学习器的P-R曲线，它就是该学习器的一种度量。 【西瓜书图2.3】指出了学习器性能的比较方法：学习器越向右凸越好。

ROC曲线

基于混淆矩阵，我们定义真正例率及对应的假正例率，这样就又有了一对性能度量指标，如下：
$$\{\begin{array}{l}\text{假正例率：}\mathrm{FPR}=\frac{\mathrm{FP}}{m^{-}}\\ \text{真正例率：}\mathrm{TPR}=\frac{\mathrm{TP}}{m^{+}}\end{array}\text{\hspace{1em}(2)}$$
其中，$m^{+}$和$m^{-}$分别表示样例中标记为正和负的样例数，在给定了测试集时，这两个数为常数，故上述两度量只与分子有关。 依前述规则，样本次序式(1)已定，可以逐一计算不同的录取名额之下这对指标式(2)的值，形成$(m+1)$对值（对应名额从0到$m$）。

在以假正例率$\mathrm{FPR}$为横轴，以真正例率$\mathrm{TPR}$为纵轴的坐标系中，上述每对值即为该坐标系中的一个点，连接这串点形成的曲线称为ROC曲线，该曲线以下的面积称为AUC，即【西瓜书图2.4】，利用ROC或AUC可以比较学习器性能。

另外，易得到这两对常用指标间的关系：
$$\{\begin{array}{l}\mathrm{TPR}=R\\ \mathrm{FPR}=\frac{m^{+}}{m^{-}}\cdot \frac{1-P}{P}R\end{array}\text{\hspace{1em}(3)}$$
还可得到错误率与它们之间的关系：

错误率$$E_{\mathrm{r}}=\frac{\mathrm{FP}+\mathrm{FN}}{m}=\frac{\mathrm{FP}+m^{+}-\mathrm{TP}}{m}$$
又
$$p=\frac{m^{+}}{m},\mathrm{TPR}=\frac{\mathrm{TP}}{m^{+}},\mathrm{FPR}=\frac{\mathrm{FP}}{m^{-}},m^{+}=m-m^{-}$$
故
$$E_{\mathrm{r}}=(1-p)\mathrm{FPR}+p(1-\mathrm{TPR})\text{\hspace{1em}(4)}$$
其中，$(\mathrm{FPR},\mathrm{TPR})$为ROC曲线上的点。

ROC曲线画法

当录取名额为0时，即录取器认为样本没有正例，这时，混淆矩阵【西瓜书图2.1】的第一列全为0，即$\mathrm{TP}=0，\mathrm{FP}=0$，由式(2)，对应的点为(0,0)；同样，当录取名额为$m$时，即学习器认为样本全是正例$P$，这时，正例全都预测正确（即$\mathrm{TP}=m^{+}$），负例全都预测错误（即假正例$\mathrm{FP}=m^{-}$），由式(2)，对应的点为(1,1)。 这两个点即为ROC的两个端点。

设录取名额为$k(0⩽k<m)$时的点为$(\frac{{\mathrm{FP}}_k}{m^{-}},\frac{{\mathrm{TP}}_k}{m^{+}})$，我们以此为基础求录取名额为$k+1$时的点，由于样本已排序，再多录取的一名样本即为${\mathbf{x}}_{k+1}$，即$k$名额时的预测与$k+1$名额时的预测仅是该样本由负例改为正例，其余样本的预测保持不变。

• 当${\mathbf{x}}_{k+1}$实际标记为正例时，则增加了一名真正例，而假正例不变，故得到${\mathbf{x}}_{k+1}$时的点为$(\frac{{\mathrm{FP}}_k}{m^{-}},\frac{{\mathrm{TP}}_k+1}{m^{+}})$，即在ROC上，从$k$点走向$k+1$点是沿着纵轴前进$\frac{1}{m^{+}}$。
• 当${\mathbf{x}}_{k+1}$实际标记为负例时，则增加了一名假正例，而真正例不变，故得到${\mathbf{x}}_{k+1}$时的点为$(\frac{{\mathrm{FP}}_k+1}{m^{-}},\frac{{\mathrm{TP}}_k}{m^{+}})$，即在ROC上，从$k$点走向$k+1$点是沿着横轴前进$\frac{1}{m^{-}}$。

从上面的画法可知，一个学习器的ROC曲线为动点沿着网格线（每格的高度为$\frac{1}{m^{+}}$，宽度为$\frac{1}{m^{-}}$）从点(0,0)走向(1,1)的一条折线，即【西瓜书图2.4的右图】。 动点的行走方向受样本排序式(1)的约束，行走规则为：依样本排序式(1)从左至右，碰到实际标记为正例的样本则上前进$\frac{1}{m^{+}}$，碰到实际标记为负例的样本则向右前进$\frac{1}{m^{-}}$，简记为：“正上走、负右走”。

AUC面积

ROC曲线的型状决定AUC面积，下面我们讨论AUC与学习器性能的关系。

依前述ROC画图规则，假定动点已到达$k$点$(\frac{{\mathrm{FP}}_k}{m^{-}},\frac{{\mathrm{TP}}_k}{m^{+}})$，这时ROC折线（局部）将$k$点以下分为两部分$S_{\mathrm{u}}$（上部或左部）和$S_{\mathrm{d}}$（下部或右部）,如图1 所示。

图1 k点时的面积

这时，分数排名前$k$个样本中，有${\mathrm{FP}}_k$个样本实际标记为负例，${\mathrm{TP}}_k$个标记为正例。 动点继续行走，前述已讨论了下一个点（$k+1$点）有两种情况：

（1）当${\mathbf{x}}_{k+1}$实际标记为正例时

动点是沿着纵轴前进$\frac{1}{m^{+}}$，这时，$S_{\mathrm{u}}$增加“深灰阴影”部分，即增加的格子数为${\mathrm{FP}}_k$，刚好是${\mathbf{x}}_{k+1}$前负例标记数，这些负例样本排在了正例样本${\mathbf{x}}_{k+1}$之前，说明预测不准，排得越多（${\mathrm{FP}}_k$越大）则越不准，即该格子数可视为：出现正例${\mathbf{x}}_{k+1}$时，由排在前的${\mathrm{FP}}_k$个负样本产生的对预测的“反对量”（图2的“深灰阴影”部分），即${\mathrm{FP}}_k$个矩形，用面积表示则为
$${\mathrm{FP}}_k\cdot (\frac{1}{m^{+}}\cdot \frac{1}{m^{-}})$$

图2 从k走到k+1时的面积增量（上）

（2）当${\mathbf{x}}_{k+1}$实际标记为负例时

动点是沿着横轴前进$\frac{1}{m^{-}}$，同样分析，出现负例${\mathbf{x}}_{k+1}$时，由排在前的${\mathrm{TP}}_k$个正样本产生的对预测的“支持量”（图3的“深灰阴影”部分），即${\mathrm{TP}}_k$个矩形，用面积表示则为
$${\mathrm{TP}}_k\cdot (\frac{1}{m^{+}}\cdot \frac{1}{m^{-}})$$

图3 从k走到k+1时的面积增量（下）

综上，动点沿ROC从(0,0)走向(1,1)过程中，每一步要么增加对“预测”的“反对量”，要么增加对“预测”的“支持量”，ROC的上部（$S_{\mathrm{u}}$）为“事实”（样本实际标记）对学习器预测（即排序式(1)）的“反对量”（累计），而ROC的下部（$S_{\mathrm{d}}$）则为“支持量”（累计）。 将“支持量”定义为该学习器的AUC，越大越好；将“反对量”定义为该学习器的损失，越小越好。 显然，学习器ROC越向上/左凸越好。

由前述可知，ROC的上部（$S_{\mathrm{u}}$）写成公式即为
$$S_{\mathrm{u}}=\sum _{{\mathbf{x}}_{k+1}\in D^{+}}\frac{1}{m^{+}}\cdot \frac{1}{m^{-}}\cdot {\mathrm{FP}}_k\text{\hspace{1em}(5)}$$

由排序式(1)知，
$${\mathrm{FP}}_k=\sum _{\mathbf{x}\in D^{-}}\mathbb{I}(h(\mathbf{x})>h({\mathbf{x}}_{k+1}))\text{\hspace{1em}(6)}$$

式(6)代入式(5)并根据“和号”下面样本标记的限定，可将符号${\mathbf{x}}_{k+1}$改写为${\mathbf{x}}^{+}$，$\mathbf{x}$改写为${\mathbf{x}}^{-}$，则
$$S_{\mathrm{u}}=\frac{1}{m^{+}}\cdot \frac{1}{m^{-}}\sum _{{\mathbf{x}}^{+}\in D^{+}}\sum _{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\text{\hspace{1em}(7)}$$

$$\begin{array}{rl}{S}_{\mathrm{d}}& =\frac{1}{m^{+}}\cdot \frac{1}{m^{-}}\sum _{{\mathbf{x}}^{+}\in D^{+}}\sum _{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}(h({\mathbf{x}}^{-})<h({\mathbf{x}}^{+}))\\ & =\text{（小方形面积）}\cdot \text{（满足h(x−)<h(x+)的小方形个数）}\\ & =\text{（满足h(x−)<h(x+)的面积占比）}\text{（因总面积为1）}\\ & =P(h({\mathbf{x}}^{-})<h({\mathbf{x}}^{+}))\text{（由概率意义得）}\\ \text{即：AUC}& =P(h({\mathbf{x}}^{-})<h({\mathbf{x}}^{+}))\end{array}\text{\hspace{1em}(8)(9)}$$
式(6)、式(8)是假定学习器$h$对测试集中的样本打出不同分数的情况。 分数有相同的情况留待下一小节专门详细讨论。

【西瓜书图2.4】右图就是按上述方法画出的，将其平滑化后得到左图，AUC面积在左图中为若干竖方条的面积之和，而右图的AUC面积可将这些竖方条变为梯形来求近似值，这样就得到【西瓜书式(2.20)】。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：2.2 如何选个好模型？
下一篇：2.4 事情有点麻烦：你的分数与别人并列了！