【斯坦福---机器学习】复习笔记之特征选择

本讲大纲：

1.VC维（VC dimension）
2.模型选择（model selection）
—交叉验证（cross validation）
—特征选择（feature selection）

1.VC维

给定猜想类，定义VC维（Vapnik-Chervonenkis dimension），记作VC(H)，表示能够被分开的最大集合的尺寸（如果能够分开任意大的集合，那么）.

例如，考虑下面几个的三个点：

在二维中线性分类器能够把它们分开吗（）？显然是可以的. 事实上，任意这些点可能的八种标签情况，我们都能找到“零训练误差”的线性分类器.

但是，这个猜想不能分开四个点的集合，因此VC（H）=3.
注意，即使可能有大小为3的集合不能被分开，VC维依然为3. 例如，三个点在同一条线上时（左图），那么没有办法找到线性分隔器（右图）.