Hoeffding’s Inequality (Wassily Hoeffding于1963年)
1. 如果我们选定一个二分分类器预测函数f, 假设将f按概率应用于整个样本空间, 某些预测会错误, 这样可以得到一个预测错误的比例,
这就是泛化误差。 因为我们实际上不可能测试无限的数据集,所以泛化误差实际是无法得到的。
当我们把f应用于一个已标记的测试集T, 同样可以得到一个预测错误的比例, 这个就是经验误差。
我们需要根据经验误差, 来估计泛化误差的范围, 从而确定f能否满足我们需要的精度。
2. 设测试集T的样本数量是n, 则每一个正确的预测, 对经验误差的贡献是0, 每一个错误的预测, 对经验误差的贡献是1/n.
所以如果错误的数量是t, 则总的经验误差就是 t/n.
即是: t/n = 0+0+...+1/n+0+...+1/n+0... (共n-t个0, t个1/n)
3. 假设f对样本正误的判断随机的,是独立的, 那么这就是一个伯努利过程,
其数学期望就是泛化误差, 而经验误差就是实验取值。
这样, 经验误差和泛化误差的偏离程度, 就可以用一个不等式来表示。
这个就是 “Hoeffding不等式”.
我们以此来根据 (1)测试集样本数量 (2)经验误差 来确定 (3)经验误差和泛化误差的差小于某个阈值 的 概率(置信度).