无限假设集(The case of infinite H)

我们已经证明了一些在有限假设集下成立的结论。但很多假设类实际包含了无限个函数，这种情况我们是否可以给出相似的结论？

让我们先举个不恰当的例子，它有助于我们的直观理解。

假设集$\mathcal{H}$的空间由$d$个实参数控制。我们用电脑存储这些实数，而在电脑中一个double类型的实数需要用64位来表示。所以我们的假设类中包含了$2^{64d}$个假设，由有效假设的结论可知，要保证$\varepsilon(\hat{h}) \le \varepsilon(h^*) + 2\gamma$的概率大于$1 - \delta$，样本数量必须满足$m \ge O \left( \frac{1}{\gamma^2} log \frac{2^{64d}}{\delta} \right) = O \left( \frac{d}{\gamma^2} log \frac{1}{\delta} \right) = O_{\gamma,\delta}(d)$，因此样本数量和模型参数是线性相关。

用64位浮动点的例子来表示模型参数可能不是很正确，但得出的结论是完全正确的：为了实现训练误差最小化，训练样本数和假设类的参数个数线性相关。

VC维(Vapnik-Chervonenkis dimension)的定义：对于任一假设集$\mathcal{H}$，$VC(\mathcal{H})$表示能被假设集$\mathcal{H}$分割的最大样本集的样本数。

例如，含有三个点的样本集：

对于样本所有可能的情况，假设集$\mathcal{H}$是否都能分割？答案是yes。

而对于4个样本点的情况，咋不能完全分割。

所以$VC(\mathcal{H}) = 3$

定理:对任一假设集$\mathcal{H}$，令$d = VC(\mathcal{H})$，概率大于$1 - \delta$，有：

$$\vert \varepsilon(h) - \hat{\varepsilon}(h) \vert \le O \left( \sqrt{\frac{d}{m} log \frac{m}{d} + \frac{1}{m} log \frac{1}{\delta}} \right)$$

还有：

$$\varepsilon(\hat{h}) \le \varepsilon(h^*) + O \left( \sqrt{\frac{d}{m} log \frac{m}{d} + \frac{1}{m} log \frac{1}{\delta}} \right)$$

即是说，如果假设类的VC维是有限数，当样本数$m$足够大时，假设将会一致收敛。即可以用最优训练误差$\varepsilon(h^*)$表示泛化误差$\varepsilon(h)$的范围。

同理要使$\vert \varepsilon(h) - \hat{\varepsilon}(h) \vert \le \gamma$对所有假设成立的概率至少为$1 - \delta$，样本数量$m$必须满足：

$$m = O_{\gamma,\delta}(d).$$

由于VC维一般与假设集的参数个数线性相关，所以样本数（样本复杂度）与假设集的参数个数线性相关。