机器学习--没有免费的午餐定理

机器学习--没有免费的午餐定理

 

解释：

1. 一种算法（算法A）在特定数据集上的表现优于另一种算法（算法B）的同时，一定伴随着算法A在另外某一个特定的数据集上有着不如算法B的表现；
2. 具体问题（机器学习领域内问题）具体分析（具体的机器学习算法选择）。

具体哪一个函数更好，取决于数据本身的规律，而这个规律，从有限的观测数据中，是不可能绝对准确地把握的。

没有免费午餐理论所证明的是：能产生所观测到的数据的规律有无穷多种，而一个函数只能很好的拟合其中某些规律，而无法很好的拟合另外一些；如果考虑所有这些可能的规律，那么任何函数都只是在进行随机猜测而已。

没有免费午餐定理最重要的寓意，是让我们清楚地认识到，

脱离具体问题，空泛地谈论“什么学习算法更好“毫无意义，

因为若考虑所有潜在的问题，则所有的算法一样好。

要谈论算法的相对优劣，必须要针对具体问题；

在某些问题上表现好的学习算法，在另一问题上却可能不尽如人意，学习算法自身的归纳偏好与问题是否相配，往往会起到决定性作用。