机器学习模型越简单越好

      首先介绍一下奥卡姆剃刀原理，他是这么说的，Entities should not be multiplied unnecessarily。翻译成高大上的中文意思是：如无必要，勿增实体（瞬间感觉中文高大上，有么有）。在我理解中，用都听的懂的话，做成一件事有很多方式，最简单的方式就是最好的。这个原理应用到机器学习中，就是，在可以很好地解释训练数据的模型中，越简单的模型才是最好的。这样说起来，很抽象，举一个例子，可以更直观点。

       有x ∈ {1, 2, ... , 100}，给一个集合D = {2, 8, 16, 32}，求出P(x|D),

其实就是在1-100中找出其他符合D规律的其他数字。根据此我们有很多假设。

1. 2的n次方
2. 偶数
3. 1-100的全部整数

对于不同的假设，它的假设空间H是不一样大的。

这里取前两个假设 h1 = 2的n次方，h2 = 偶数

对于h1:{2, 4, 8, 16, 32, 64}

对于h2:{2, 4, 6, 8, 10, ..., 100}

接下来就是求P(D|h)，这个意思就是，在假设h下，你取到训练样本D的似然度就是P(D|h)。

P(D|h1) = (1/6)^4 = 7.7 X 10^-4

P(D|h2) = (1/50)^4 = 1.6 X 10^−7

比值大约是5000 : 1。

从这里可以看出，假设空间越小越好，即机器学习模型越简单越好，前提是，模型都能很好的解释训练数据。

参考

MLAPP：Machine Learning: A Probabilistic Perspective