（《机器学习》完整版系列）第2章 模型评估与选择 ——2.4 事情有点麻烦：你的考数与别人并列了！

本小节我们换个角度论证【西瓜书式(2.21)】，并结合相关知识展开有趣讨论。
证明分为三部分：
1、高考分数中学生没有并列分数
2、只有一个分数点上有多名学生
3、有多个这样的分数点：该分数点上有多名学生

公式趣证*

本小节我们换个角度论证【西瓜书式(2.21)】，并结合相关知识展开有趣讨论。

假定没有并列分数的样本，在ROC上部（$S_{\mathrm{u}}$）区域中任取一个“小矩形”，如图1中的“阴影部分”，则它对应到ROC上有一个横线段和一个竖线段。

图1 ROC上方的一个小矩形

由ROC的画图规则（“正上走，负右走”），横线段对应一个负例（记为${\mathbf{x}}^{-}$），竖线段对应一个正例（记为${\mathbf{x}}^{+}$），又由动点行走规则知横线段先于竖线段画出，即${\mathbf{x}}^{-}$排序在${\mathbf{x}}^{+}$的左侧，用分数表示为：$h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+})$。 因此，ROC上部（$S_{\mathrm{u}}$）区域中的“小矩形”数为
$$\mathrm{Rcount}=\sum _{{\mathbf{x}}^{+}\in D^{+}}\sum _{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\text{\hspace{1em}(1)}$$
再乘以“小矩形”的面积即得【西瓜书式(2.21)】。

为扩展【西瓜书式(2.21)】到有并列分数的情况，我们先做点准备。

将高考分数从高到低排序样本（参见上篇文章）记为$l$，设排列中有一块$D_0$的分数相同，其余没有分数相同，即有如下排列：
$$\begin{array}{rl}& \text{l中排序：}\cdots ,\underset{D_0}{\underbrace{{\mathbf{x}}_0^1,{\mathbf{x}}_0^2,\cdots ,{\mathbf{x}}_0^t}},{\mathbf{x}}_p\cdots \\ & \text{其中：D0=D0+∪D0−，同分数中既有录取的D0+又有未录取的D0−}\end{array}$$

图2 数据集的分解

由韦恩图（图2），我们把【西瓜书式(2.21)】的右边的“小矩形”计数进行分解
$$\begin{array}{rl}M& =\sum _{{\mathbf{x}}^{+}\in D^{+}}\sum _{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\\ & =M_1+M_2+M_3+M_4\end{array}\text{\hspace{1em}(2)}$$
其中
$$\{\begin{array}{l}{M}_1={\sum }_{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\\ {\mathbf{x}}^{+}\notin D_0^{+}\end{array}}{\sum }_{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\\ {\mathbf{x}}^{-}\notin D_0^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\\ M_2={\sum }_{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\\ {\mathbf{x}}^{+}\notin D_0^{+}\end{array}}{\sum }_{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\\ M_3={\sum }_{\begin{array}{c}{\mathbf{x}}^{+}\in D_0^{+}\end{array}}{\sum }_{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\\ {\mathbf{x}}^{-}\notin D_0^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\\ M_4={\sum }_{\begin{array}{c}{\mathbf{x}}^{+}\in D_0^{+}\end{array}}{\sum }_{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\end{array}\text{\hspace{1em}(3)}$$

注意：式(2)并没有说$\mathrm{Rcount}=M$，当$h$给出的分数没有并列样本时，结合式(1)，才有等式
$$\begin{array}{r}\mathrm{Rcount}=M\text{（当样本分数没有并列时）}\end{array}\text{\hspace{1em}(4)}$$
当$h$给出$D_0$中样本的分数一致时，式(3)中式$M_4=0$。 即
$$\begin{array}{r}M=M_1+M_2+M_3\text{（当D0中样本的分数一致时）}\end{array}\text{\hspace{1em}(5)}$$
当$D_0$中的样本分数是一致时，这些样本是排在一起的，但是它们的排列次序是自由的，因此，会得到不同的ROC曲线，我们考虑$l$排序的两种极端情形：最佳排序（$D_0$中正例排在负例的左边）和最劣排序（$D_0$中正例排在负例的右边）。
$$\begin{array}{r}\text{l1中排序：}\cdots ,D_0^{+},D_0^{-},{\mathbf{x}}_p\cdots \\ \text{l2中排序：}\cdots ,D_0^{-},D_0^{+},{\mathbf{x}}_p\cdots \end{array}$$

两条ROC曲线$l_1$和$l_2$对应的$M$分别记为$M^{l_1}$和$M^{l_2}$，其他符号如此类推。

我们对学习器$h$略作修改，使之分数严格递增。 设$D_0$中样本的分数都为$a$，紧跟其后的${\mathbf{x}}_p$的分数为$b$，$\delta =\frac{b-a}{|D_0|}$

针对$l_1$定义$h^{\prime }$：
$$\begin{array}{c}{h}^{\prime }(\mathbf{x})=\{\begin{array}{ll}h(\mathbf{x}),& \text{（当x∈/D0时）}\\ a+i\delta ,& \text{（当x∈D0时）}\\ \text{其中：}& i=0,1,2,\cdots ,|D_0|-1,\text{i表示D0中次序}\end{array}\end{array}\text{\hspace{1em}(6)}$$

由式(6)知，$D_0$中样本以$h^{\prime }$打分时，分数依次递增，由于$({\mathbf{x}}^{+}\in D_0^{+})$在$({\mathbf{x}}^{-}\in D_0^{-})$的左边，不满足$(h^{\prime }({\mathbf{x}}^{-})>h^{\prime }({\mathbf{x}}^{+}))$，即$\mathbb{I}(h^{\prime }({\mathbf{x}}^{-})>h^{\prime }({\mathbf{x}}^{+}))=0$，同时，由于该区域内$(h({\mathbf{x}}^{-})=h({\mathbf{x}}^{+}))$，即$\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))=0$，故此两方面结合有
$$\begin{array}{rl}{M}_4^{l_1}& =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}\mathbb{I}(h^{\prime }({\mathbf{x}}^{-})>h^{\prime }({\mathbf{x}}^{+}))\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}0\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\end{array}\text{\hspace{1em}(7)}$$
由式(3)，计算$M_2^{l_1}$：
$$\begin{array}{rl}{M}_2^{l_1}& =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\\ {\mathbf{x}}^{+}\notin D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}\mathbb{I}(h^{\prime }({\mathbf{x}}^{-})>h^{\prime }({\mathbf{x}}^{+}))\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\\ {\mathbf{x}}^{+}\notin D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}\mathbb{I}(a>h({\mathbf{x}}^{+}))\text{（由式(6)及a与b之间只有D0的样本）}\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\\ {\mathbf{x}}^{+}\notin D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\text{（因x−∈D0−故h(x−)=a）}\end{array}\text{\hspace{1em}(8)}$$
同样，计算$M_1^{l_1}$、$M_3^{l_1}$，有
$$\begin{array}{rl}{M}_1^{l_1}& =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\\ {\mathbf{x}}^{+}\notin D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\\ {\mathbf{x}}^{-}\notin D_0^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\end{array}\text{\hspace{1em}(9)}$$

$$\begin{array}{rl}{M}_3^{l_1}& =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\\ {\mathbf{x}}^{-}\notin D_0^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\end{array}\text{\hspace{1em}(10)}$$

故有
$$\begin{array}{rl}& \mathrm{Count}(l_1)\\ & =M^{l_1}\text{（l1符合式(4)的条件）}\\ & =M_1^{l_1}+M_2^{l_1}+M_3^{l_1}+M_4^{l_1}\text{（由式(2)）}\\ & =(\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\\ {\mathbf{x}}^{+}\notin D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\\ {\mathbf{x}}^{-}\notin D_0^{-}\end{array}}+\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\\ {\mathbf{x}}^{+}\notin D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}+\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\\ {\mathbf{x}}^{-}\notin D_0^{-}\end{array}}+\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}})\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\\ & \text{（由式(9),式(8),式(10),式(7)）}\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{+}))\end{array}\text{\hspace{1em}(11)}$$

同样，针对$l_2$可定义$h^{\prime \prime }$，类似地，可得到$ M_1^{l_2},M_2{l_2},M_3^{l_2}$有式(9)、式(8)、式(10)一致的式子，即
$M_1^{l_2}=M_1^{l_1},M_2^{l_2}=M_2^{l_1},M_3^{l_2}=M_3^{l_1}$，故
$$\begin{array}{rl}{M}_1^{l_2}+M_2^{l_2}+M_3^{l_2}& =M_1^{l_1}+M_2^{l_1}+M_3^{l_1}\\ & =M_1^{l_1}+M_2^{l_1}+M_3^{l_1}+M_4^{l_1}\text{（由式(7)）}\\ & =M^{l_1}\end{array}\text{\hspace{1em}(12)}$$
但$M_4^{l_2}$较式(7)复杂， $D_0$中样本以$h^{\prime \prime }$打分时，分数依次递增，由于$({\mathbf{x}}^{+}\in D_0^{+})$在$({\mathbf{x}}^{-}\in D_0^{-})$的右边，满足
$(h^{\prime \prime }({\mathbf{x}}^{-})>h^{\prime \prime }({\mathbf{x}}^{+}))$，即$\mathbb{I}(h^{\prime \prime }({\mathbf{x}}^{-})>h^{\prime \prime }({\mathbf{x}}^{+}))=1$，故
$$\begin{array}{rl}{M}_4^{l_2}& =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}\mathbb{I}(h^{\prime \prime }({\mathbf{x}}^{-})>h^{\prime \prime }({\mathbf{x}}^{+}))\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D_0^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}1\\ & =|D_0^{+}|\cdot |D_0^{-}|\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D_0^{+}\end{array}}\mathbb{I}({\mathbf{x}}^{+}\in D_0^{+})\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}\mathbb{I}({\mathbf{x}}^{-}\in D_0^{-})\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D_0^{+}\end{array}}\mathbb{I}(h({\mathbf{x}}^{+})=a)\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D_0^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{-})=a)\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{+})=a)\mathbb{I}(h({\mathbf{x}}^{-})=a)\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{+})=a\wedge h({\mathbf{x}}^{-})=a)\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{+})=h({\mathbf{x}}^{-}))\end{array}\text{\hspace{1em}(13)}$$
$$\begin{array}{rl}{M}^{l_2}& =M_1^{l_2}+M_2^{l_2}+M_3^{l_2}+M_4^{l_2}\\ & =M^{l_1}+M_4^{l_2}\text{（由式(12)）}\end{array}\text{\hspace{1em}(14)}$$

分数相同的子集$D_0$中，样本的任一排序可产生其对称的排序（交换$D_0^{+}$与$D_0^{-}$），故产生的$l$ 具有对称性，即学习器$h$的平均“小矩形”数的计算只需对两个极端情况（$l_1$及$l_2$）进行平均，故有
$$\begin{array}{rl}\mathrm{Count}(h)& =\frac{\mathrm{Count}(l_1)+\mathrm{Count}(l_2)}{2}\\ & =M^{l_1}+\frac{1}{2}{M}_4^{l_2}\text{（由式(14)）}\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\end{array}}[\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{-}+))+\frac{1}{2}\mathbb{I}(h({\mathbf{x}}^{+})=h({\mathbf{x}}^{-}))]\\ & \text{（由式(11)、式(13)）}\end{array}\text{\hspace{1em}(15)}$$
式(15)代入下式即为【西瓜书式(2.21)、(2.22)】。
$$\begin{array}{r}{S}_{\mathrm{u}}^h=\frac{1}{m^{+}}\cdot \frac{1}{m^{-}}\mathrm{Count}(h)\\ \mathrm{AUC}=S_{\mathrm{d}}^h=1-S_{\mathrm{u}}^h\end{array}$$
但上面仅针对只有一个分数具有多个样本的情况。

图3 分数相同标记相反（一个“块”）

如图3所示， 由式(14)及式(13)知，$l_1$与$l_2$围成的区域中的“小矩形”个数为
$$\begin{array}{rl}\mathrm{Count}(l_2-l_1)& =M_4^{l_2}\\ & =\sum _{{\mathbf{x}}^{+}\in D^{+}}\sum _{{\mathbf{x}}^{-}\in D^{-}}\mathbb{I}(h({\mathbf{x}}^{+})=h({\mathbf{x}}^{-}))\end{array}\text{\hspace{1em}(16)}$$

现在设有$k$个“块”，每个“块”中分数是并列相同的，设第$i$个“块”为$D_i$分数为$d_i$。

图4 多个同分数的“块”

仿前述 式(13)有
$$\begin{array}{rl}{D}_i& =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{+})=h({\mathbf{x}}^{-})=d_i)\\ \sum _{i=1}^k{D}_i& =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\end{array}}\sum _{i=1}^k\mathbb{I}(h({\mathbf{x}}^{+})=h({\mathbf{x}}^{-})=d_i)\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\end{array}}\mathbb{I}(h({\mathbf{x}}^{+})=h({\mathbf{x}}^{-}))\end{array}\text{\hspace{1em}(17)}$$
仿前述 式(14)有
$$\begin{array}{rl}{M}^{l_2}& =M^{l_1}+D_1+D_2+\cdots +D_k\end{array}\text{\hspace{1em}(18)}$$
$$\begin{array}{rl}\mathrm{Count}(h)& =\frac{M^{l_1}+M^{l_2}}{2}\\ & =M^{l_1}+\frac{1}{2}\sum _{i=1}^k{D}_i\\ & =\sum _{\begin{array}{c}{\mathbf{x}}^{+}\in D^{+}\end{array}}\sum _{\begin{array}{c}{\mathbf{x}}^{-}\in D^{-}\end{array}}[\mathbb{I}(h({\mathbf{x}}^{-})>h({\mathbf{x}}^{-}+))+\frac{1}{2}\mathbb{I}(h({\mathbf{x}}^{+})=h({\mathbf{x}}^{-}))]\\ & \text{（由式(11)、式(17)）}\end{array}\text{\hspace{1em}(19)}$$
即多个“块”时的式(19)与一个“块”的式(15)相同。

综上，【西瓜书式(2.21)】【西瓜书式(2.22)】得证。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：2.3 恭喜：高考你被录取了！
下一篇：2.5 代价的曲线美