学习理论-VC维

学习理论

1、基本概念

2、PAC理论

3、VC维

4、极大似然，最大后验概率，贝叶斯估计

5、模型评估与评价指标

6、模型诊断调参

三、VC维

​ 在PAC理论中，我们用假设空间的取值$N$来描述模型的复杂度，然而很多时候假设空间的取值是无限的，比如线性模型中模型属于连续空间，我们无法用取值来衡量模型的复杂度，VC维的主要价值在于用VC维（维度）衡量模型的复杂度，同时给出了误差上界（个人见解）。

VC维：给定一个样本集 S = { x 1 , x 2 , . . . , x m } S=\{x^{1},x^{2},...,x^{m}\} S={ x1,x2,...,xm} ，我们称假设空间$H$可以打散$S$，当且仅当对于样本集$S$的任何一种标签（与样本的分布无关）都能被$H$线性可分。一般来说： 等于假设类的参数个数

比如下图：一个二维的假设空间其最大能打散（线性可分）的样本集数为3，VC维为3。

​ 对于假设空间$H$，其$VC(H)=d$，那么至少以