【ZJU-Machine Learning】没有免费午餐定理

No Free Lunch Theorem定理概述

如果我们不对特征空间有先验假设，则所有算法的平均表现是一样的。任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好，表现好与表现不好的情况一样多。

1）对所有可能的的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值相同；
2）对任意固定的训练集，对所有的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值也相同；
3）对所有的先验知识求平均，得到的所有学习算法的“非训练集误差”的期望值也相同；
4）对任意固定的训练集，对所有的先验知识求平均，得到的所有学习算法的的“非训练集误差”的期望值也相同。

NFL定理表明没有一个学习算法可以在任何领域总是产生最准确的学习器。不管采用何种学习算法，至少存在一个目标函数，能够使得随机猜测算法是更好的算法。

算法意义

在脱离实际意义情况下，空泛地谈论哪种算法好毫无意义，要谈论算法优劣必须针对具体学习问题。
另外，在我们讨论某一个算法优劣时，我们一定要给出特征空间的先验假设。

第一个例子

假设一台计算机上有只有两个存储单元，每个存储单元的位置上要么属于第一类，要么属于第二类。我们用○，代表第一类，用×代表第二类。假设我们知道一个存储位置为○，要预测另一个位置是○还是×？

答：在这个例子中，没有给出○和×的具体含义，也就是说，该场景并没有对特征空间做出假设，因此，我们无论预测？所在位置是○还是×都是合理的，其预测成功的几率都是50%，也就是我们可以随机瞎猜。

第二个例子

假设一台计算机上有只有两个存储单元，每个存储单元的位置上要么属于第一类，要么属于第二类。我们用○，代表第一类，用×代表第二类。假设我们知道一个存储位置为○，要预测另两个位置是○还是×？

同第一个例子，每一个？出我们预测○还是×的成功率都是50%。

第三个例子

对于这个例子中，结合实际算法，我们得出，在圆圈中预测○的成功概率更高，×中预测×的成功概率更高。这是因为人们认为:特征常距小的样本更有可能是同一类。