机器学习思想

天下没有免费的午餐

没有免费的午餐的定理(No Free Lunch Theorem/NFL定理) ，NFL定理由Wolpert在1996年提出，最早应用在经济学领域。“天下没有免费的午餐”最早是说，十九世纪很多欧美酒吧和旅店为了提升销售额向顾客免费提供三明治，而客人贪图免费的三明治却意外的买了许多杯酒，酒吧从而获利更多了。当然，和家喻户晓的“天下没有免费的午餐”有所不同，NFL更多讲的是模型优化的问题。

对于机器学习，NFL说了这样一件事：“假设所有数据的分布可能性相等，当我们用任一分类做法来预测未观测到的新数据时，对于误分的预期是相同的。”

这个定理对“盲目的算法崇guanyu拜”有毁灭性的打击。例如：未必深度学习的方法就比其它任何算法好，不能盲目的说某一个算法可以解决所有问题。但是，从另个角度来讲，我们往往对问题中数据的分布有一定了解，因此大部分情况下我们知道什么算法可以得到好的结果。

“NFL算法最大的意义是让我们认识到，脱离具体问题，空泛的谈 ‘什么算法更好’ 毫无意义

少与多？？？

奥卡姆剃刀定理(Occam’s Razor - Ockham定理) - 少即是多

简单来说，如果两个模型的解释能guanyu力完全相同，那么选择较为简单的那个模型。在统计学和数学领域，我们偏好优先选择最简单的那个假设，如果其他假设相比其对于观察的描述度一致

奥卡姆剃刀定理在机器学习领域的意义在于它提出了一种模型选择的方法，对待过拟合问题有很大的指