NFL定理和算法的优劣性

    希望大家能自己去了解一下“归纳偏好”“欠拟合”“过拟合”“奥卡姆剃刀”原则以及NFL定理。

    NFL（No Free Lunch Theorem）定理，经过推导后得出结论：无论算法多聪明或笨拙，它们的期望性能是相同的。不要气馁，因为NFL定理有一个重要前提：所有“问题”出现的机会或所有问题同等重要。但实际情况是，很多时候我们只关注自己正试图解决的问题，希望找到一个解决方案。至于这个解决方案在别的问题甚至相似问题上是否为好方案，我们并不关心。例如，为了快速从A到B，如果A是南京鼓楼、B是南京新街口，那么“骑ofo”肯定是很好的解决方案；这个方案对A是南京鼓楼、B是北京新街口...你懂的

    回到熟悉的西瓜问题，考虑｛假设1:好瓜(色泽=*)^(根蒂=蜷缩)^(敲声=浊响)｝和｛假设2:好瓜(色泽=*)^(根蒂=坚硬)^(敲声=清脆)｝。从NFL定理可知，这两个假设同样好。我们可以想到例子，对好瓜(色泽青绿、根底蜷缩、敲声浊响)是假设1更好，而对好瓜(色泽乌黑、根蒂硬挺、敲声清脆)则是假设2更好。看上去的确如此。但实际上(根蒂蜷缩敲声浊响)的好瓜很常见，而(根蒂硬挺敲声清脆)的好瓜罕见，甚至不存在。

    所以NFL最重要的意义，是让我们清楚的认识到，脱离具体问题，空泛地谈“什么学习算法更好”毫无意义。因为若考虑所有潜在问题，那么所有学习算法一样好，要谈论算法优劣性，必须针对具体的学习问题。

    归纳偏好、欠拟合、过拟合的文章csdn比比皆是，大家去搜索一下即可。