天下没有免费的午餐

在机器学习中存在一个普适定理--没有免费的午餐(No Free Lunch Theorem，NFL定理)。NFL定理的具体描述为

1）对所有可能的的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值相同;

2）对任意固定的训练集，对所有的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值也相同;

3）对所有的先验知识求平均，得到的所有学习算法的的“非训练集误差”的期望值也相同;

4）对任意固定的训练集，对所有的先验知识求平均，得到的所有学习算法的的“非训练集误差”的期望值也相同;

  NFL定理表明没有一个学习算法可以在任何领域总是产生最准确的学习器。不管采用何种学习算法，至少存在一个目标函数，能够使得随机猜测算法是更好的算法。

  平常所说的一个学习算法比另一个算法更“优越”，效果更好，只是针对特定的问题，特定的先验信息，数据的分布，训练样本的数目，代价或奖励函数等。

  NFL定理可以进一步的引出一个普适的“守恒率”--对每一个可行的学习算法来说，它们的性能对所有可能的目标函数的求和结果确切地为零。即我们要想在某些问题上得到正的性能的提高，必须在一些问题上付出等量的负的性能的代价！比如时间复杂度和空间复杂度。

  实际上，NFL定理并不是局限在机器学习领域，在我们所处的现在这个已知的宇宙中，NFL定理也总是成立的，就像能量守恒。

原文：https://blog.csdn.net/victor0127/article/details/48207547