机器学习基石第六周笔记

这里写图片描述
我们知道mH(N)和break point会有关系,我们再进行上限处理,将mH(N)更加一般化为B(N,k)。N个数据中,每个点有叉和圈两种情况,任意k个数据都不能出现shatter,这样的数据种类个数最大值就是B(N,k)。B(N,k)是所有break point等于k的mH(N)的上限,我们不再考虑具体hypothesis是什么。
这里写图片描述
现在来讨论B(N,k)应该是多少。对于k=1的那一列,因为break point是1,所以任何N个数据都只能有一种情况,再加多一种就会有两个点shatter;对于k>N,B(N,k)=2^N;对于k=N,为了不shatter,只要减去一种情况,则B(N,k)=2^N-1;对于N>k(只要有break point,数据N一般都会大于break point,所以这是最关键的情形),我们得到公式:
这里写图片描述
所以,
这里写图片描述

最终我们通过推导得到:B(N,k)的上限确实是一个多项式。
这里写图片描述

我们可以说2D perceptrons的成长函数mH(N)是个多项式
这里写图片描述
值得注意的是,2D perceptrons的mH(4)=14,而它的bounding function B(4,4)=2^4-1=15,从这可以看出,B(N,k)确实是mH(N)的上限。

我们最后想要用mH(N)代替M,然而实际上整个式子还要经过一些复杂推导,最后是:
这里写图片描述
这里写图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值