终极算法——第三章：符号学派：休谟的归纳问题

本文为阅读总结个人认为书里概念性的、对本人有帮助的内容，仅供参考。

你是理性主义者还是经验主义者？

理性主义者认为，感官会欺骗人，而逻辑推理是通往知识的唯一可靠的道路。经验主义者认为所有推理都不可靠，知识必须来源于观察及实验。

为了得出符合逻辑的论断，休谟借用了洛克开创的经验主义思想，并提出一个问题，这个问题在所有领域的知识中就像一把达摩克利斯之剑，从最琐碎的领域到最先进的领域，都是一个时刻存在的问题：在概括我们见过的东西以及没见过的东西时，怎样才能做到合理？从某种意义上说，每种学习算法都在尝试回答这个问题。

没有免费午餐定理(No Free Lunch，简称NFL)是wolpert和Macerday提出的“最优化理论的发展”之一。这是最优化理论的发展之一。该定理的结论是，由于对所有可能函数的相互补偿，最优化算法的性能是等价的。该定理暗指，没有其它任何算法能够比搜索空间的线性列举或者纯随机搜索算法更优。该定理只是定义在有限的