Hoeffding连接到机器学习

统计学场景：

一个罐子中有红球和绿球，红球比例$v$未知，数量未知，如何得到红球比例？
方法---随机抽样N个球，在其中红球占比为$u$

由hoeffding可以知道：
$P(|u-v|>\epsilon)\leq 2e^{-2\epsilon^2N}$

对应到机器学习分类问题：
目标函数为$f(x)$，现要估计$h(x)$的错误率
假设在罐子中，
将$[f(x_i)\neq h(x_i)]$的x标成红色
将$[f(x_i)= h(x_i)]$的x标成绿色
此时红色比例$v$即为$E_{out}$

此时数据集$D={(x_i,y_i) i=1...n}$，可以看成是从罐子中的抽样
此时$E_{in}$相当于$u$
$P(|E_{in}-E_{out}|>\epsilon)\leq 2e^{-2\epsilon^2N}$

转载于:https://www.cnblogs.com/porco/p/4605614.html