机器学习基石（林轩田）第十六章 笔记与感悟总结

16.1 Three Learning Principles - Occam’ Razor

简单的hypothesis，简单的model

简单的model。当输入乱乱的资料时，Ein无法很小。

因此，如果用简单的模型，能够分开资料，那么就说明其中会有某种规律。

而不能分开，则说明没有啥规律。

因为复杂的模型能够拟合所有的数据，所以你根本不知道到底是有规律的样本？

还是随机抛硬币产生的样本（没有内在规律）。

16.2 Three Learning Principles - Sampling Bias

总统选举的故事。

clue：电话当时是很贵的。

因为，训练和数据和实际的数据要在同一的分布下来做。

老师当年用来validation的资料是随机选取的，而比赛实际上是用的前七部电影作为训练，后三部电影作为预测。故最后得到的模型并不能提现顺序性，最后模型失败。

因此，training set要和validation set 越接近越好，这样说明最后的模型能够很好的适应test set

银行的资料不知道那些没有通过的人，到底发生什么事。这样当一个顾客来的时候，数据集的分布就不均匀。

16.3 Three Learning Principles - Data Snooping

回顾一下，我们偷看资料的风险。

我们用肉眼偷看资料，是一件很有风险的事情。

偷看资料实际上发生很频繁，不仅是肉眼偷看。

因为资料的变化范围很大，故需要放缩工作。

现在问题是，一种是将前六年统计特性作为放缩，然后预测完后再放缩回去就好。

另一种是，这么麻烦干啥，直接将八年的数据一块放缩得了。

问题在于：我们实际上，将后两年的考卷放进了训练集了，多了两年的资料，红色那条线看到了投资回报率很高很高！！！！我们间接的偷看了！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

我们如果一直站在前人的肩膀上的话，那么我们实际上就是在不断的拷问我们的数据，最后它一定能够给我们一个好的表现模型。因为我们实际上做了过拟合。

实际上偷看很难避免。 

16.4 Three Learning Principles - Power of Three