深度学习里面正则化的理解

一、正则化的概念与用处

正则化：也叫规范化，在神经网络里主要是对代价函数高次项添加一些惩罚，防止其过拟合，相当于对某些特征的权重施加惩罚，降低其影响权重，防止过拟合。欠拟合时需要去掉正则化，因为本来就特征不足，再惩罚一下就更没用了。正则化目标是获取最小的损失和模型复杂度。

二、常见的正则化及其适用场景

2.1参数正则化

参数正则化主要是对损失函数添加惩罚项

L2正则化：处处可导，计算简单。对绝对值较大的权重予以很重的惩罚，对于绝对值较小的权重予以很轻的惩罚，当权重趋于零时，几乎不惩罚。

L1正则化：L1正则化（Lasso正则化）通过在损失函数中加入参数的绝对值之和作为惩罚项，表示为λ∑|w|，其中 λ 是正则化系数。L1正则化的效果是使得部分参数变为0，从而达到稀疏化的效果。在模型稀疏化时，L2只能降低每项特征的权重，而不能抹去，这时L1就可以使大部分模型参数为0，起到稀疏化的效果。这也说明L1自带特征选择的功能。

2.2经验正则化

Dropout随机丢弃法就可以起到正则化的效果。