无免费午餐定理

没有免费午餐定理是说无论两种算法 La 多聪明，Lb多笨拙，他们的期望性能竟然相同。
（1）期望性能

期望也叫均值：可以表述为有一种内在的动力趋于某种东西。简单解释：

在概率论和统计学中，一个离散性随机变量的期望值（或数学期望、或均值，亦简称期望，物理学中称为期待值）是试验中每次可能的结果乘以其结果概率的总和。换句话说，期望值像是随机试验在同样的机会下重复多次，所有那些可能状态平均的结果，便基本上等同“期望值”所期望的数。需要注意的是，期望值并不一定等同于常识中的“期望”——“期望值”也许与每一个结果都不相等。（换句话说，期望值是该变量输出值的平均数。期望值并不一定包含于变量的输出值集合里。）

例如，掷一枚公平的六面骰子，其每次“点数”的期望值是3.5，计算如下：

不过如上所说明的，3.5虽是“点数”的期望值，但却不属于可能结果中的任一个，没有可能掷出此点数。

2）算法假设

NFL定理的前提是：所有问题出现的机会相同、或者说所有的问题同等重要。

没有免费的午餐定理(No Free Lunch Theorem),这个定理说明，若学习算法 La ，在某些问题上比学习算法 Lb 要好， 那么必然存在另一些问题， 在这些问题中 Lb 比 La 表现更好。

这里说的表现好就是前面所说的泛化能力更强。然后出现了下面这个公式

令人生畏的长公式，不过我们来依次解读它。

X : 样本空间，什么是样本空间呢?就是你的样本的属性张成的空间，书的前文有介绍

还是以他书中的西瓜来举例吧:

西瓜的属性和每个属性的取值是

色泽= 青绿||乌黑||浅白 x= 0 || 1 || 2

根蒂= 蜷缩||稍蜷||硬挺 y= 0 || 1 || 2

敲声= 浊响||沉闷||清脆 z= 0 || 1 || 2

你把色泽、根蒂、敲声想想成x，y，z轴。取值的范围都是0,1,2。怎么样，是不是像一个正方体的三维空间，当然属性可能有多种，那就上升到多维空间去了，不好想像了。

H:假设空间，什么是假设空间呢?

什么是假设呢，前面说也叫学得模型，这里我们不搞那些概念。请看这篇博主的文章http://blog.csdn.net/VictoriaW/article/details/77686168，看完应该就能理解假设空间和版本空间）

转自：https://zhuanlan.zhihu.com/p/48493722