机器学习中防止过拟合的方法

https://www.zhihu.com/question/59201590/answer/1250993433
http://www.cnblogs.com/TenosDoIt/p/3712590.html

什么是过拟合

过拟合（overfitting）是指过于紧密或精确地匹配特定数据集，以致于无法良好地拟合其他数据或预测未来的观察结果的现象。通俗的来讲，就是训练的模型在训练集上的精确度很高，但是在测试集上的精确度却很差的现象。模型泛化能力弱。

过拟合发生的原因

过拟合发生的原因：往往是相对于有限数据而言，使用了参数过多或者结构过于复杂的统计模型。而它的本质，则是训练算法从训练集的统计噪声中不自觉地获取了信息并表达在模型结构的参数中。过拟合往往可以用偏差-方差权衡(bias-variance tradeoff)来解释。当过拟合发生时，模型的偏差小而方差大，导致模型在测试集上的误差变大。

偏差-方差权衡(bias-variance tradeoff)

简单的以下面曲线拟合例子来讲：

直线拟合后，相比原来的点偏差最大，最后一个图完全拟合了数据点，偏差最小；但是拿第一个直线模型去预测未知数据，可能会相比最后一个模型更准确，因为最后一个模型过拟合了，即第一个模型的方差比最后