机器学习（2）之误差来源，以及怎么导致过拟合和欠拟合

主要根据李宏毅教授的视频做的笔记和总结。视频讲的很通俗易懂，主要是记录博客笔记，方便自己以后查找复习，感兴趣的小伙伴可以参考，可以留言相互交流。

误差来源于bias和variance，即偏差和方差。
bias表示瞄的准，
variance表示打的稳。

模型越简单，variance小，bias大；模型越复杂variance大，bias小

因为模型简单的话，取得区域（space）就比较小，所以导致离目标远，bias就比较大，model复杂同样的道理，如下图：

模型越复杂，瞄的越准，bias越来越小，但是射出去的误差越来越大，也就是variance越来越大，如果误差来自于variance较大，就是Overfitting，如果来自于bias较大，就是Underfitting，如下图：

如果你的模型不适合训练集数据，那么就会导致bias比较大，出现欠拟合，这时就可能需要考虑重新设计model，因为此时的model可能根本不包含target。
如果在训练集上得到一个小的误差，但是在测试集上得到一个大的误差，那么可能导致variance较大，出现过拟合。此时可以考虑增加训练集数据，或者采用正则化。如下图：


一般来说，测试集都是自己手上有的，但是真正的测试集是从来没有见过的新的数据，所以误差一般会更大一些。

交叉验证：把训练集分为训练集和验证集，选出最好的模型后再用全部的训练集去训练。

N词折叠交叉验证：