TH_NUM的博客

日常积累

机器学习---假设的评估问题

机器学习的假设理论:任一假设若在足够大的训练样例集中很好的逼近目标函数,它也能在未见实例中很好地逼近目标函数。
伯努利分布的期望 np
方差 np(1-p)
训练样例(Sample)的错误率:errors
测试数据(data)的错误率:errorD

评估偏差
bias=E(errors)-errorD
对于无偏估计(bias=0):h和S选择必须独立

评估方差:
对于无偏的评估S,errors也许和errorD不同的,
应该选择方差较小的估计

示例计算
有95%的可能性,errors(h)落在区间:
errorD(h)± 1.96*√errorD(h)*(1-errorD)/n
等价类似的:
有95%的可能性,errorD(h)落在区间:
errors(h)± 1.96*√errors(h)*(1-errors)/n

测试h1在训练样例S1(n1个随机数据),测试h2在训练样例S2(n2个随机数据)
选择评估参数:d=errorD(h1)-errorD(h2)
选择评估者: d^=errorS1(h1)-errorS2(h2)
这里写图片描述
例如:eS1(h1)=0.3 eS2(h2)=0.2 假设eD(h1)>eD(h2) 其中n1=n2=100
给出 d^=0.1 假设eD(h1)>eD(h2)
即:d^=0.1 假设d>0
d+0.1>d^ 注意d是d^的均值
即:d^

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/TH_NUM/article/details/51565464
个人分类: 机器学习
上一篇K-means
下一篇PAC可学习性
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭