机器学习中过度拟合

在机器学习中，随着模型复杂度增加，训练集误差减低，而验证集误差却变大，也就是偏差低而方差很高的时候，可以推断此时的模型过度拟合了。通常模型深度大，复杂程度高，却没有足够的数据的时候易发生过拟合

如下图最右，当模型想要一丝不苟地反映已知的所有数据，此模型可能失去通用性，对未来预测可能会变得更差。这是因为所谓的“已知”数据，都是有误差的！精准的拟合会把数据的误差给放大 ——拟合得越精确，并不代表预测结果就越准确，拟合得过度精确后有可能结果更加糟糕。

L2相对于L1正则化不具有稀疏性，可参考L1正则化和L2正则化的详细直观解释
所以通常采用L2正则化来减小参数W。
为什么减小W可以有效防止过度拟合：一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。
比较直观和简单的理解， 红线尝试去兼顾各个测试数据点， 导致模型函数如下图，处于一种动荡的状态， 每个点的到时在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。

正则化后
w=w*(1 − 𝑎 𝜆/𝑚)-𝑎* (from backprop)
𝜆足够大时，w会越来越小，z=wA+b 也会越来越小。