机器学习---假设的评估问题

机器学习的假设理论：任一假设若在足够大的训练样例集中很好的逼近目标函数，它也能在未见实例中很好地逼近目标函数。
伯努利分布的期望 np
方差 np（1-p）
训练样例（Sample）的错误率：errors
测试数据（data）的错误率：errorD

评估偏差
bias=E(errors)-errorD
对于无偏估计（bias=0）：h和S选择必须独立

评估方差：
对于无偏的评估S，errors也许和errorD不同的，
应该选择方差较小的估计

示例计算
有95%的可能性，errors(h)落在区间：
errorD(h)± 1.96*√errorD(h)*(1-errorD)/n
等价类似的：
有95%的可能性，errorD(h)落在区间：
errors(h)± 1.96*√errors(h)*(1-errors)/n

测试h1在训练样例S1(n1个随机数据)，测试h2在训练样例S2(n2个随机数据)
选择评估参数：d=errorD(h1)-errorD(h2)
选择评估者： d^=errorS1(h1)-errorS2(h2)

例如：eS1(h1)=0.3 eS2(h2)=0.2 假设eD(h1)>eD(h2) 其中n1=n2=100
给出 d^=0.1 假设eD(h1)>eD(h2)
即：d^=0.1 假设d>0
d+0.1>d^ 注意d是d^的均值
即：d^