霍夫丁不等式

Hoeffding’s Inequality  (Wassily Hoeffding于1963年)

 

1. 如果我们选定一个二分分类器预测函数f,  假设将f按概率应用于整个样本空间， 某些预测会错误， 这样可以得到一个预测错误的比例，

这就是泛化误差。 因为我们实际上不可能测试无限的数据集，所以泛化误差实际是无法得到的。

当我们把f应用于一个已标记的测试集T， 同样可以得到一个预测错误的比例， 这个就是经验误差。

我们需要根据经验误差， 来估计泛化误差的范围， 从而确定f能否满足我们需要的精度。

 

2. 设测试集T的样本数量是n， 则每一个正确的预测， 对经验误差的贡献是0， 每一个错误的预测， 对经验误差的贡献是1/n.

    所以如果错误的数量是t, 则总的经验误差就是 t/n.

   即是: t/n =   0+0+...+1/n+0+...+1/n+0...  (共n-t个0, t个1/n)

 

3. 假设f对样本正误的判断随机的，是独立的， 那么这就是一个伯努利过程， 

    其数学期望就是泛化误差， 而经验误差就是实验取值。

    这样， 经验误差和泛化误差的偏离程度， 就可以用一个不等式来表示。

    这个就是 “Hoeffding不等式”.

    我们以此来根据 (1)测试集样本数量  (2)经验误差  来确定 (3)经验误差和泛化误差的差小于某个阈值 的 概率(置信度).