证明二类分类问题的泛化误差上界

泛化误差上界：

对二分类问题，当假设空间是有限个函数的集合F={f1,f2,f3,...,fn}时，对任意一个函数，至少以概率，以下不等式成立：

其中，

不等式右端第一项为训练误差，训练误差越小，泛化误差就越小

第二项为N的单调递减函数，当N趋于无穷时其趋于0，且假设空间包含的函数越多，其值越大

以下为证明过程：

首先，因为证明过程要用到Hoeffding不等式，叙述如下：

设是独立随机变量X1,X2,...,Xn之和，，则对任意t>0，以下不等式成立：

现有，对任意，是N个独立随机变量L(Y,f(X))的样本均值，是随机变量L(Y,f(X))的期望值，损失函数取值于区间[0,1],即对所有i，[ai,bi]=[0,1]则有：

因为

因此，由Hoeffding不等式得：

因为，假设空间是一个有限集合，则有：

等价于：

令，则至少以概率有成立

因此，训练误差小的模型，泛化误差也会小