NFL定理_西瓜书学习拓展笔记（一）

西瓜书也算是听说了很久了，之前看过一点电子版的书一直觉得自己的底子还不太够也就没有去买来系统的学习，虽然但是刚好考研也算是把之前没学好的高数线代概率论全都过了一遍，再加上也学过了一部分专业课的课程了，于是决定考研复习学不进去的时候学点别的放松一下心情吧。
主要的内容都在书上写写划划了，写在这里的东西算是对书上难点的查阅理解总结归纳，有不对的地方还希望发现的朋友能够指正。

第一章 概论

No Free Lunch Theorem（NFL定理）

百度百科：该定理的结论是，由于对所有可能函数的相互补偿，最优化算法的性能是等价的。该定理暗指，没有其它任何算法能够比搜索空间的线性列举或者纯随机搜索算法更优。该定理只是定义在有限的搜索空间，对无限搜索空间结论是否成立尚不清楚。

公式如下

理解公式的变换只有两点，第一点是要明确下图的公式取值为解空间的一半，由于设定的真实目标函数为均匀分布，所以无论选择哪一种算法，都只能预测对一半的目标函数值，也就是解空间的1/2，公式以二分类为例在这里用$2^x$表示解空间。

第二点要理解的其实就是概率函数的规范性，即所有事件的总概率和为1

NFL定理的成立条件相当苛刻，其要求所有问题的出现的机率完全相同即所有问题都是同等重要的，而在我们的生活中是几乎没有这种问题的，NFL定理的存在只是为了说明不同的约束条件下或者说在不同的训练样本以及训练目标下算法评价性能也是不同的，不需要过多的在此上面钻牛角尖。

课后习题

课后题中的公式对第一个理解公式做了修改改为使用其他的性能度量 $l$ ,但是根据之前的假设，即 $f$ 按照均匀分布于解空间，我们仍能知道对于任意算法 $La$ 能且只能预测正确1/2的目标函数值 $f$ ，即对于任意算法其性能度量 $l$ 都是相同的，所以仍可以证明NFL定理成立。