机器学习基石-04-1-Learning is Impossible

例1

在下面的图示中，根据给出的6个样本及对应的yn，来判断下面的图形属于yn=+1还是yn=-1。

yn=1和yn=-1都有充分的理由，所以不清楚到底结果是哪个。

例2

上面的例子中，在D给出的数据集中g(x)都满足“g趋向于f”，但是无法判断具体是哪一个更合适。因为在数据集D以外的都不相同，D以外的部分对于我们来说是最重要的（拿到一个D以外的新数据还能够准确地判断它的类别才是最重要的！）

No Free Lunch（天下没有免费的午餐！）

learning from D (to infer something outside D) is doomed if any "unknown" f  can happen.

在目标函数f未知的情况下，想要在数据集D以外的部分“学习到一些东西”是不可能的，只能保证在D以内是满足f函数的。

最后的习题答案是4，没有一个“正确的”答案，因为前面的例子并不能代表某一个绝对的函数形式。