本文深入探讨了VC维的概念，揭示了模型复杂度与泛化误差之间的关系。随着VC维增大，模型的拟合能力增强，但可能导致过拟合，即Ein(g)减小而Eout(g)可能增大。最佳的VC维存在于一个平衡点。同时，样本复杂度的影响也得以分析，指出理论与实际所需样本数的差距及VC界松弛性的原因。
这节将会更加深入地理解VC维，penalty for model complexity：当VC维很大“power”的效果很好时，需要付出的“代价”。
上面的不等式的意义：“坏事情”发生的几率很小很小，也就是“好事情”发生的几率会很大。
发生“好事情”的概率就会小于等于1-σ.
上面Eout(g)夹在中间，有点像Eout(g)的置信区间。一般地，只考虑Eout(g)右边小于的部分，所以左边的部分写成了灰色。
当dvc增加时，会使得可以shatter的点就变多了，所以Ein(g)通常会变小。
当dvc减少时，Ein(g)会变大。
注意：powerful H not always good！！
因为powerful H只能保证Ein(g)很小，但是并不能保证Eout(g)也很小，因为会产生很大的model complexity。
很明显，并不是dvc越大越好，最佳的dvc在中间！
上面讲的是model complexity，那么对于sample complexity呢？样本复杂度
bound就是“坏事情”发生的最大几率，上面的例子中可以看到在inputs的N很大时会对bound产生很大的影响。
理论上和实际上的N要求差别很大，证明了looseness of VC bound。那么为什么VC bound可以这么宽松呢？
VC bound对于任意的情况都可以“容忍”！需要注意的是，上面的any data不是随便的数据，还是通过需要P（any distribution 的概率P）来选取，需要符合yn=f(xn)。
FUN TIME
通过A,B,C三种方式都可以有效地减少“坏事情”发生的概率。
578
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
