没有免费午餐定理

一、没有免费午餐定理

1. 概述

在机器学习算法的过程中存在问题：哪种机器学习算法更好？
由此提出没有免费午餐定理

• No Free Lunch Theorem 是值：任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好，如果不对训练样本在特征空间的先验分布有一定假设，那么表现好与表现不好的情况一样多。因此没有任何情况下都最好的机器学习算法。
• 先验概率与后验概率，博客参考

2. 例子1：

• 假设一台计算机上有两个存储单元，同时每个存储单元的位置要么属于第一类（以圆圈○表示），或者属于第二类（以X表示）；
• 这是一个两类的分类问题
• 假设我们知道一个存储单元的位置为圆圈；
• 我们要预测另一个存储单元的位置是圆圈（○）还是叉（×）；
• 这个预测有以下两种情况；
• 第一个存储单元为圆圈，第二个存储单元是圆圈和第一个存储单元为圆圈，第二个存储单元是叉；

• 如果我们不事先假设这两种情况的先验概率分布，那么一种合理的假设就是这两种情况的概率相同都是50%；
• 那么在这种情况下，我们预测不管第二个单元是○还是×对或错的概率都是一半；
• 同理多个单元；
• 无论计算机的存储单元有多少，无论我们知道多少个类别，对于剩下的格子类别不管做什么样的预测，结果不论对错的概率都是一半；
• 不管是什么样的算法，和我们随机的瞎猜都是没有区别的，那么问题出在哪里呢？
• 是因为假设各种情况的先验概率是一样的；（这样的假设是有问题的）

3. 例子2：

• 在设计机器学习算法的时候，有一个假设：
• 在特征空间上距离接近的样本，他们属于同一个类别的概率会更高。
• 在这种假设的情况下，前面所说的各种情况的先验概率就会不一致了，因此算法的预测才会有依据；
• 这个假设有道理吗？
• 道理是从以前的事实，经验，实践中来的；同时可以通过类比将“道理”推广到对未来的预测；
• 这样的预测很可能出错；

二、总结

没有免费午餐定理告诉我们：
	如果不对特征空间的先验分布有假设，则所有算法的表现都一样；

• 机器学习的本质：通过有限的已知数据，在复杂的高维特征空间中预测未知的样本的属性和类别；
• 再好的算法也存在犯错的风险；