机器学习笔记(2)----“没有免费的午餐”定理

“没有免费的午餐”定理（No Free Lunch Theorem，简称NFL）

先来看一个例子。假设学习算法a基于某种归纳偏好产生了对应于A的模型，学习算法b基于另一种归纳偏好产生了对应于曲线B的模型。

基于奥卡姆剃刀原理，我们会期待算法a比算法b更好。确实，如图(a)所示，和B相比，A与训练集外的样本更一致；换言之，A的泛化能力比B强。

但是，且慢！虽然我们希望并相信算法a比b更好，但会不会出现图(b)的情况：与A相比，B与训练集外的样本更一致？

注：黑点：训练样本；白点：测试样本。

这种情况是很有可能出现的，对于一个学习算法a，若它在某些问题上比学习算法b好，则必然存在另外一些问题，算法b比a好。

下面引出没有免费的午餐定理。

不管算法a有多好，泛化能力多强，算法b有多笨拙，这两个算法的期望值是相同的，换言之，这两个算法的性能可能差不多，甚至，一个最优算法可能

和一个胡乱猜想的算法性能相似。

NFL定理有个重要前提：所有问题出现的机会相同，或所有问题同等重要。但实际情况并不是如此，所以这就要求我们具体问题具体分析，很多时候，我们只关注

自己正在试图解决的问题，希望为它找到一个解决方案，至于这个解决方案在别的问题，甚至在相似的问题上是否是好方案，我们并不关心。

根据NFL，我们似乎无法找到这样一个放之四海而皆准的最优方案，所以一切问题都要具体问题具体分析。