浅谈NFL没有免费的午餐定理

浅谈NFL定理

---

  NFL定义全称，No Lunch Free没有免费的午餐定理，这是帮助我们理解算法性能的一个定理。你可能会觉得这个定理证明出来的结论或许是无稽之谈，或许产生一种算法的无用论，但是事实并非如此。下面介绍的没有免费午餐定理的大部分内容取自机器学习-周志华

  刚开始看到这个定理的时候你一定会觉得精深难懂，但是实际上确实只需要一些基础的概率知识就能理解这条定理的基本内容。

  介绍具体的证明过程之前，需要了解一些背景知识。在机器学习中，机器学习算法有成千上万种，每种算法都有其独到之处，都能达到我们想要的效果，但是往往效率或者正确率有差别，需要具体问题具体分析。

  实际上异常公平的一点是，假如一个算法针对问题X效率奇高，但是面对另一个具体问题Y时，效率非常低，甚至比不上一个在X问题上非常垃圾的算法B，这种现象是普遍存在的。

  从上面的图来看，黑点代表训练集，白圈代表样本空间除训练集之外的部分，甚至我们可以称之为测试集。采用不同的算法针对相同的训练集训练，产生了A、B两种不同的模型，图a我们可以看到模型A针对测试集的泛化能力比B好很多，但是图b的情况也是完全有可能出现的。所以针对不同的具体问题，算法的选择也很重要，一个适合X问题的算法A，不一定普适于问题Y，甚至有可能在问题Y上A算法的表现不如“随便乱猜”。

  凭什么这么说？

$$E_{ote}({\zeta }_a|X,f)=\sum _h\sum _{x\in \chi -X}P(x)I(h(x)\ne f(x))P(h|X,{\zeta }_a)(1.1)$$

  上面公式1.1中定义了算法a在训练集X外的误差，其中$\chi$代表样本空间，X代表训练集，I(·)表示如果·取值为帧，则I(·)为1，否则为0，也就是说当假设h(x)产生的结果与f(x)一致时，不计入误差，不一致时计入误差。

$$\sum _{x\in \chi -X}P(x)I(h(x)\ne f(x))(1)$$
  这部分表示对x预测结果的期望，也就等同于错误率。如果不能理解，你可以考虑这样一个问题，如果x取值1~10共十个数，我们采用算法A产生了假设h，有两个h(x)的预测和实际的f(x)不一致，此时错误率是多少呢，是$E=2/10=0.2$，通过上面的公式(1)也可以计算出这个结果，每个x的取值概率为0.1，那么结果就是$0.1\times 1+0.1\times 1+0.1\times 0...=0.2$。

  这部分明白之后，我们看$P(h|X,{\zeta }_a)$,算法a可以产生不止一个假设h，每个假设出现的概率不同，这里定义为
$$P(h|X,{\zeta }_a)(2)$$

  上面的公式表示，算法a在训练样本X中，产生假设h的概率。
我们已经知道一点是公式(1)表示的是假设h针对训练样本集的误差期望，那么结合公式(2)就产生了(1.1)的公式。

  因此公式（1.1）的意思就可以理解为，在训练集X上采用算法a产生的所有假设h的总误差，从数学角度来说是个期望值，这里把这个期望值定义为误差。

  接下来考虑一个二分类问题，也就是存在映射使得 χ → { 0 , 1 } \chi\to\{0,1\} χ→{0,1}，这样的映射函数有很多种，因此我们称为假设这样的映射函数为f，函数空间为 { 0 , 1 } ∣ X ∣ \{0,1\}^{|X|} {0,1}∣X∣,然后我们按照所有的可能函数f对误差进一步求和，有

  上面的公式具备一些概率统计的基础知识便能容易的推导出来，这里有个假设就是f是均匀分布的函数，均匀分布的函数从概率的角度来看会有一半与h（x）符合，一半与h（x）不符合，因此对函数空间$2^{|X|}$乘以0.5。公式推导出来之后，我们会发现一个惊人的事情，就是算法a的总误差与算法无关，也就是说即便我们采用随便乱猜的算法b，最后得到的总误差与a算法得到的总误差没什么不同。

  我们很容易想到，如果总误差与算法无关，为什么还要设计那么多的算法，直接乱猜不久行了嘛？实际上，这种想法是错误的，很多人简单的去引用NFL定理，但是往往忘记了这个定理的前提，就是f是均匀分布的。但是实际情况并非如此，实际中各种建模的各种现象并非是均匀分布的，因此我们需要具体问题具体分析。

  总之，这个定理是让我们意识到，讨论算法的优劣，泛化能力的强弱，都不能脱离实际的问题，要针对具体的问题具体地分析。