《机器学习》绪论中假设空间和归纳偏好的解释

　　假设空间是指所有可能的能满足样本输入和输出的假设函数h(x)的集合。注意，假设函数一定是一个无穷大的集合。也就是说，如果样本是一串有穷的离散点（x_i，y_i），i属于1到N，那么能够拟合这这些点的无穷多个函数都是可能的假设函数。
　　那么，怎样的假设函数是最合理呢？这就涉及到归纳偏好的概念了。
　　归纳偏好是一个能挑选最佳假设函数的基准。以韦小宝的7个老婆为例，这7个老婆均满足小宝的要求，因此构成了大小为7的假设空间。（实际上，假设空间的大小一定是无穷大的。为了说明问题，我们暂时以7为大小）。那么，如何衡量哪一个假设空间中哪一个假设函数（老婆）最好呢？如果以温柔体贴为偏好来选，当然是小双；如果以小宝的迷恋为偏好来讲，假设函数就是阿珂。说白了，归纳偏好就是一个用于挑选假设函数的基准。
　　一般情况下，我们都使用“奥卡姆剃刀”原则，也就是选择最简单的假设函数。也就是变量最少，变量的幂指数最小的函数。也就是说，一次函数能拟合时就不选二次函数作为假设函数。