机器学习（西瓜书）之二项检验的理解

前言

  二项检验在周志华老师的西瓜书中并没有做太多解释，自己也是网上搜索了相关的资料和其他人的看法，并结合了自己的一些理解写下博客记录一下。

内容引出

  我们在对学习器的性能进行评估比较的时候，有了评估方法和性能度量也不一定能很好判断学习器的优劣，通常是用统计假设检验，基于假设检验的结果我们可以推断出，若在测试集上观察到学习器A比B好，则A的泛化性能是否在统计意义上优于B，以及这个结论的把握有多大。这里，默认以错误率为性能度量，用$ϵ$表示，即泛化错误率。

  假设检验中的“假设”是对学习器泛化错误率分布的某种判断或者是猜想，比如“$ϵ={ϵ}_0$”。现实的任务中我们不知道学习器的泛化错误率，只能获知其测试错误率$\widehat{ϵ}$，而且泛化错误率和测试错误率不一定相同，直观上，它们两者接近的可能性比较大，相差很远的可能性比较小。由此我们可以根据测试错误率估推出泛化错误率的分布。这也是此章节的目的。

二项检验

  泛化错误率为$ϵ$的学习器在一个样本上犯错的概率是$ϵ$，而测试错误率$\widehat{ϵ}$表示的是在m个测试样本中恰好有$\widehat{ϵ}\ast m$个被误分类。我们假定测试样本是从总体分布中独立采样得到的，那请问泛化错误率为$ϵ$的学习中将m₀个样本误分类，其余样本全部分类正确的概率是多少？

  如果上面的看不懂没关系，我们来分析一下这个问题，假如你去投篮，你不能投中的概率是$ϵ$，你总共只能投m个，其中m₀个投不中的概率是多少？这个问题我们都不陌生吧，因为你每次投篮都是相互独立的，所以我们可以用二项分布的方法迅速得出结果$$\left(\begin{array}{c}m\\ m_0\end{array}\right)\ast {ϵ}^{m_0}\ast (1-ϵ{)}^{m-m_0}$$这个公式的前面的矩阵的意思其实就是排列组合，相当于C(m,m₀)。那对之前的问题也是一样的道理，它也满足二项分布，所以结果也是一样$$\left(\begin{array}{c}m\\ m_0\end{array}\right)\ast {ϵ}^{m_0}\ast (1-ϵ{)}^{m-m_0}$$所以由此我们可以估算出恰好将$\widehat{ϵ}\ast m$个样本误分类的概率，这也表达了在包含m个样本的测试集上，泛化错误率为$ϵ$的学习器被测得测试错误率为$\widehat{ϵ}$的概率：$$P(\widehat{ϵ};ϵ)=\left(\begin{array}{c}m\\ m\ast \widehat{ϵ}\end{array}\right)\ast {ϵ}^{m\ast \widehat{ϵ}}\ast (1-ϵ{)}^{m-m\ast \widehat{ϵ}}$$书上给出的公式其实是很好理解的，但是其最后直接得出结论概率在$ϵ=\widehat{ϵ}$时最大，其中略过求解过程，所以这里对其进行推导。

  这里其实用到的时极大似然法（不太懂的同学可以看看这篇博客极大似然估计）我们先对原式进行求对数$$ln(P(\widehat{ϵ};ϵ))=ln(\left(\begin{array}{c}m\\ m\ast \widehat{ϵ}\end{array}\right)\ast {ϵ}^{m\ast \widehat{ϵ}}\ast (1-ϵ{)}^{m-m\ast \widehat{ϵ}})$$这里要提一个关于对数函数的性质$$ln(a\ast b)=ln(a)+ln(b)$$所以根据这个性质我们可以对原式进行分解$$\begin{gathered} ln(P(\widehat{ϵ};ϵ))=ln(\left(\begin{array}{c}m\\ m\ast \widehat{ϵ}\end{array}\right)\ast {ϵ}^{m\ast \widehat{ϵ}}\ast (1-ϵ{)}^{m-m\ast \widehat{ϵ}}) \\ =ln(\left(\begin{array}{c}m\\ m\ast \widehat{ϵ}\end{array}\right))+ln({ϵ}^{m\ast \widehat{ϵ}})+ln((1-ϵ{)}^{m-m\ast \widehat{ϵ}}) \\ =ln(\left(\begin{array}{c}m\\ m\ast \widehat{ϵ}\end{array}\right))+(m\ast \widehat{ϵ})\ast ln(ϵ)+(m-m\ast \widehat{ϵ})ln((1-ϵ)) \end{gathered}$$然后我们再对式子进行求导，现在对$ϵ$求导，此时要比之前更容易求导$$\begin{gathered} \frac{\partial (ln(P(\widehat{ϵ};ϵ)))}{\partial ϵ}=\partial (ln(\left(\begin{array}{c}m\\ m\ast \widehat{ϵ}\end{array}\right)))+\partial ((m\ast \widehat{ϵ})\ast ln(ϵ))+\partial ((m-m\ast \widehat{ϵ})ln((1-ϵ))) \\ =0+(m\ast \widehat{ϵ})\ast \frac{1}{ϵ}+(m\ast \widehat{ϵ}-m)\ast \frac{1}{1-ϵ} \\ =\frac{m\ast (\widehat{ϵ}-ϵ)}{(1-ϵ)\ast ϵ} \end{gathered}$$
我们也知道当其导数为0时有最大值，且此时$ϵ=\widehat{ϵ}$。根据书上的例子，$ϵ=0.3$,m=10，我们可以用Python代码将其表示出来：

import matplotlib.pyplot as plt
from scipy.special import comb
from matplotlib.font_manager import FontProperties
import numpy as np
import matplotlib

a = 0.3
m = 10
p = []
for error in range(11):
    k = comb(m,error)*(a**error)*((1-a)**(m-error))
    p.append(k)
fig = plt.figure()
ax = fig.add_subplot(111)
font = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=14)
plt.xlabel('误分类样本数',fontproperties=font)
plt.ylabel('概率',fontproperties=font)
y = np.arange(0,0.35,0.05)
x = np.arange(0,11.0,1.0)
plt.xticks(x)
plt.yticks(y)
ax.scatter(x,p)
plt.plot(x,p)
plt.show()

我们可以得到和书上基本一致的图像

图中的横坐标虽然是误分类的样本数，但是除以样本总数即可得到此时的测试错误率$\widehat{ϵ}$，由图我们也可以看出当泛化错误率$ϵ$为$\widehat{ϵ}$时其概率最大。

  我们可以由图看出当泛化错误率给定时，测试错误率与总样本数的乘积即误分类样本数说一个二项分布，我们对其进行假设检验，也称为二项检验。书中给出原假设“$ϵ<={ϵ}_0$”，那么其备择假设就是“$ϵ>{ϵ}_0$”，即原假设不成立时的对立结果，由此我们也可以得出这是一个右侧单边检验。书中直接给出了公式（最新的印刷有些不一样）$$\overline{ϵ}=minϵs.t.\sum _{i=ϵ\ast m+1}^m\left(\begin{array}{c}m\\ i\end{array}\right)\ast {ϵ}_0^i\ast (1-{ϵ}_0{)}^{m-i}<\alpha$$

  我们知道假设检验如果结果落入拒绝域范围，那么我们则可以拒绝原假设，所以对于上述公式也同样的道理。用书上的图来解释

$\alpha$是显著水平，1-$\alpha$是置信区间，我们可以将图看作是普通的假设检验的单边检验的函数图像，图中的$\alpha$区域看成拒绝域，其他部分看成是接受域，只要在$ϵ={ϵ}_0$的情况下，该学习器的测试错误率$\widehat{ϵ}$没有落入拒绝域中，那么我们就有1-$\alpha$的置信度认为学习器的泛化错误率$ϵ$小于${ϵ}_0$，（因为$ϵ$是不知道的，我们只是假设），所以我们的关键就在于求出那个临界值。

  我们之前的概率值是在泛化错误率给定的情况下，学习器对$\widehat{ϵ}$的概率估计，我们要求假设接受的临界值，相当于就是满足概率相加的和小于$\alpha$最小的那个测试错误率，书中给出的这个公式的作用也就是这个意思，我们可以看出图中5就是那个临界值，因为当误分类样本数为6，7，8，9，10的这些概率相加的和小于$\alpha$，但若是加上5的这个概率值，那么就会大于$\alpha$，不满足条件，所以5就是最小的临界值。得到临界值后，只要判断其与测试错误率的大小即可。