L2 normalization 为什么能够降低过拟合

L2 normalization 为什么能够降低过拟合？

假设 cost function 为：
$J(w,b) = \frac{1}{m}\sum_{i=0}^{n}(\hat{y_i}-y_i)^{2} + \frac{\lambda}{2m}\sum_{l=1}^{L}||w^{[l]}||_F^2$

其中：
$||w^{[l]}||_F^2 = \sum_{i=1}^{n[l-1]}\sum_{j=1}^{n[l]}||w_{ij}||^2$

假定激活函数使用：$g(z) = tanh(z)$

若使成本函数最小化，若$\lambda$ 变大，则，$w^{[l]}$变小，那么，$z^{[l]} = w^{[l]}a^{[l-1]}+b^{[l]}$变小

对于$tanh(z)$函数，当$z$很小时，$z\approx tanh(z)$ ,所以，activation function 就可以看作linear function

若每层的激活函数都是线性函数，那么整个神经网络学习到的依然是线性函数。

这也就解释了，为什么正则化能够降低过拟合。