没有免费午餐定理
(
No Free Lunch Theorem
,
NFL
)
是由
Wolpert
和
Macerday 在最优化理论中提出的
.
没有免费午餐定理证明
:
对于基于迭代的最优化算法,
不存在某种算法对所有问题
(
有限的搜索空间内
)
都有效
.
如果一个算法对某些问题有效,
那么它一定在另外一些问题上比纯随机搜索算法更差
.
也就是说,
不能脱离具体问题来谈论算法的优劣
,
任何算法都有局限性
.
必须要
“
具体问题具体分析”. 没有免费午餐定理对于机器学习算法也同样适用.
不存在一种机器学习算 法适合于任何领域或任务.
如果有人宣称自己的模型在所有问题上都好于其他模型,
那么他肯定是在吹牛
.