机器学习笔记1-“没有免费的午餐”定理（No Free Lunch Theorem）

教材-周志华《机器学习》

绪论各种基本术语不再赘述，大部分都可以望文生义。

“没有免费的午餐”定理（No Free Lunch Theorem）（简称NFL定理）：该定理的结论是，由于对所有可能函数的相互补偿，最优化算法的性能是等价的。该定理暗指，没有其它任何算法能够比搜索空间的线性列举或者纯随机搜索算法更优。该定理只是定义在有限的搜索空间，对无限搜索空间结论是否成立尚不清楚。该定理的前提时：所有“问题”出现的机会相同、或所有问题同等重要。

但实际情形我们只需要为特定的问题找到解决方案，而不关注该方案在别的问题上的结果好坏。NFL定理引申出的结论：要讨论算法的优劣，必须要针对具体的问题来进行比较，因为在某些问题上表现好的学习方法，在另一些问题上可能表现很糟糕。

算法的选择上一定要具体问题具体分析