文章目录
VC Bound Rephrase: Penalty for Model Complexity
VC Bound:
改述:好事情发生(GOOD)
gen.error:generalization error
得到
E
o
u
t
E_{out}
Eout的范围。
根号这一项被叫做model complexity。
THE VC Message
横轴是VC dimension,纵轴是Error。
model complexity随着VC dimension的变大而变大。
VC dimension增大后,可以shatter的点变多(hypothesis变强),
E
i
n
E_{in}
Ein减小。
VC dimension增大后,模型复杂度(model complexity)增大,导致要付出的代价变大。
所以
E
o
u
t
E_{out}
Eout通常会先减后增。
强大的 H \mathcal{H} H( E i n E_{in} Ein很小)并不总是好的。
VC Bound Rephrase: Sample Complexity
VC Bound:
一个例子:
然而实践上一般 10 d V C 10d_{VC} 10dVC的资料就够用了。
Looseness of VC Bound
上面的例子说明了VC Bound实际上是很宽松的。
原因:
对于不同的模型,VC Bound 的宽松程度实际上是差不多的。