机器学习基石 4-1 Learning is impossible

在第三节中关注了ML方法的分类，在本节中，HT Lin介绍了一些用Learning做不到的事情。

Example：A Learning Puzzle

在上图中，上边一排的3*3方阵所示的情况归于y=-1类，下边一排的情况归于y=+1类，要做的事情是从上面两排方阵的黑白分列情况中归纳出一个规则，并用这个规则来判断下边的排列情况中g(x)的输出结果为+1还是-1。

这看起来很想我们小时候玩的“找规律”的问题。但是在图上的情况下，实际上是没有标准的正确答案的。

如上图，如果我们把“图形的对称性”作为一个分类的标准（图形具有对称性即输出结果为+1），那么g（x）的输出可以是+1；如果我们把“左上角第一个方格是否为黑色，如果是，输出就为+1”作为标准，那么g（x）的输出可以是-1。总而言之，单单从这6个example推导出的规则，是不能够准确地得到一个未知data的预测结果的。

再比如一个二元分类的例子：

向量X是一个三维的向量，向量值仅能取0或者1.上图给出了X的五个输入对应的输出Y。现在的问题是，如果我们从这5个example中得到了一个g，且这个g在这5个example上的表现与f是一致的，那么能否说g≈f？

答案是否定的，不能。

从上面的图中可以看出，X的输入一共有8种情况，就算我们得到了一个g在D上与f表现一致，但是在D之外仍然有很多种未知的情况。如果我们不能保证在D之外g与f仍然保持一致，那么g是最佳假设的结论就不成立。

在这种情况下，需要增加一些新的假设（g的约束条件）才能进一步归纳出一个最接近与f的g。