L2正则化简单理解

\quad\quad 众所周知，L2正则化的目的是减少过拟合。训练网络过程中过拟合的直接表现就是训练集的loss不断减小而验证集的loss基本不变或震荡。
\quad\quad 究其原因，出现这种训练集的loss不断减小而验证集的loss基本不变或震荡的现象，有两种原因。一是在训练集中有噪声数据，训练网络时拟合了这些噪声数据，得到的模型比较复杂，反而对验证集的预测效果下降；二是在验证集中有噪声数据，这样也会导致验证集的loss较大。
\quad\quad L2正则化是在要优化的目标函数后面加上一项：$\frac{\lambda }{2n}{\sum }_{i-1}^n(w_i{)}^2$，构成一个新的目标函数。直观的讲，新的目标函数可以让学习到的网络权重更小，模型更简单。为什么呢？加上正则化的目标函数的极值点更靠近原点，即更接近0.
\quad\quad 那么L2正则是怎样避免过拟合呢？针对上面提到的原因一：加了正则的目标函数不再仅仅着眼于优化原损失函数（例如均方误差或交叉熵损失），还要考虑到取正则项的最小，因此针对原损失函数而言，它得到的是次优解，原损失函数的值大于未加正则项时损失函数的值，避免了对原损失函数的过分优化，从而避免过拟合；针对原因二：L2正则可以减小权重w的值，从而减小验证集中的噪声项的最终干扰程度，从而减小验证集的loss。综上所述，L2正则化可以避免过拟合。