Lecture 7:The VC Dimansion
【参考】https://redstonewill.com/222/
所有截图均来自课程课件
【概括】
VC Dimension的概念就是最大的non-break point。然后,我们得到了Perceptrons在d维度下的VC Dimension是d+1。接着,我们在物理意义上,将VC Dimension与自由度联系起来。最终得出结论VC Dimension不能过大也不能过小。选取合适的值,才能让Eout足够小,使假设空间H具有良好的泛化能力。
7.1 Definition of VC Dimension
N的k-1次方比B(N,k)松弛:
VC bound及可以转换为:
这样,不等式只与k和N相关了,一般情况下样本N足够大,所以我们只考虑k值。有如下结论:
VC Dimension
VC Dimension就是某假设集H能够shatter的最多inputs的个数,即最大完全正确的分类能力。(注意,只要存在一种分布的inputs能够正确分类也满足)。
根据之前break point的定义:假设集不能被shatter任何分布类型的inputs的最少个数。则VC Dimension等于break point的个数减一。
回顾一下之前介绍的四种例子,它们对应的VC Dimension是多少:
得出结论:
有限的VC dimension -> 好的hypothesis
quiz:
正确答案为4:因为有可能存在另外N个inputs可以被shatter,也有可能没有,不能确定
7.2 VC Dimension of Perceptrons
d为Perceptron的维度
7.3 Physical Intuition VC Dimension
VC Dimension代表了假设空间的分类能力,即反映了H的自由度,产生dichotomy的数量,也就等于features的个数,但也不是绝对的。
M与VC dimension成正比,可以得出以下结论:
7.4 Interpreting VC Dimension
VC Bound是比较宽松的,而如何收紧它却不是那么容易,这也是机器学习的一大难题。但是,令人欣慰的一点是,VC Bound基本上对所有模型的宽松程度是基本一致的,所以,不同模型之间还是可以横向比较。从而,VC Bound宽松对机器学习的可行性还是没有太大影响。