本文深入探讨了机器学习中的核心理论，包括没有免费午餐定理，揭示了不存在通用的最优算法；丑小鸭定理强调相似性的主观性；奥卡姆剃刀原理提倡简单模型的优越性；PAC学习理论提供了模型泛化能力的理论基础，阐述了学习算法的近似正确性和可能性。这些理论不仅指导机器学习实践，也富含生活哲学。
Datawhale
作者：邱锡鹏，复旦大学教授
寄语：本文对PAC学习理论、没有免费的午餐定理、丑小鸭定理、奥卡姆剃刀原理等机器学习中有名的理论或定理进行了详细的梳理。
在机器学习中，有一些非常有名的理论或定理，这些理论不仅有助于我们从本质理解机器学习特性，更好地学习相关理论，更重要的是可以有助于我们理解很多生活哲学，比如奥卡姆剃刀原理所延伸的极简主义：如无必要，勿增实体的理念，让我们一起细品吧。
没有免费午餐定理
没有免费午餐定理（NFL）是由Wolpert 和Macerday在最优化理论中提出的。没有免费午餐定理证明：对于基于迭代的最优化算法，不存在某种算法对所有问题（有限的搜索空间内）都有效。
如果一个算法对某些问题有效，那么它一定在另外一些问题上比纯随机搜索算法更差。也就是说，不能脱离具体问题来谈论算法的优劣，任何算法都有局限性. 必须要“具体问题具体分析”。
没有免费午餐定理对于机器学习算法也同样适用。不存在一种机器学习算法适合于任何领域或任务。 如果有人宣称自己的模型在所有问题上都好于其他模型，那么他肯定是在吹牛。
丑小鸭定理
丑小鸭定理（U
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
