学习笔记—神经网络与正则化

神经网络与正则化

正则化项能够控制模型的过拟合问题，深层神经网络模型如果不添加正则化项，很容易陷入过拟合。

1 L2 Regularization

1.1 正则化惩罚到底做了什么？

最常见的用于控制过拟合的方法为L2正则化，它所做的只是对损失函数增加了系数惩罚——在原公式基础上增加所有系数的二次方值的和。
原始损失函数：

$$J = -\frac{1}{m} \sum\limits_{i = 1}^{m} \large{(}\small y^{(i)}\log\left(a^{[L](i)}\right) + (1-y^{(i)})\log\left(1- a^{[L](i)}\right) \large{)} \tag{1}$$
L2正则化损失函数：

Jregularized=