VC维和PAC

参考博客:https://tangshusen.me/2018/12/09/vc-dimension/

疑问:

(1)一般情况下,假设空间的VC维约等于假设自由变量的数目。

这个在线性分类器是成立的,神经网络的vc维是无穷大。

(2)为什么深度学习和VC维有矛盾

深度学习里,在cifar10数据集,简单的卷积网络和残差网络的参数的数量相差了很多,前者的参数量远小于后者,用vc维解释的话,测试误差和训练误差应该后者更大,但是为什么反而小了呢?

我感觉是因为VC维的这些推论很大程度上是过于把问题简化,都是在线性分类器情况下。
比如这个公式:
在这里插入图片描述
实际中M是无穷大,N也是无穷大,因此这个公式根本就和实际不相符。
而且本质上M、N都是不可数的,只有可数才能用limt->无穷来证明。

反正就是它里面的公式在深度学习情况下完全不成立的,只能大概看看

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值