【Deep Learning】Regularization(正则化)

一、正则化(Regularization)

        上图来自于吴恩达老师机器学习课程的截取，可以看到，在参数越复杂的情况下，训练函数的拟合效果越好，但是在现实中的训练神经网络中，常常会出现overfitting（过拟合）的问题，减少overfitting的途径包括增大训练数据集的量和在训练过程中进行regulazition（正则化）等方法。其中正则化的定义为旨在减少学习算法的泛化误差而不是训练误差的修改，常见的正则化有L2参数正则化和L1参数正则化。

1.L2参数正则化

       L2参数正则化是在代价函数后加上一项权重之和（对于所有的神经网络里面的权重w相加），即：