正则化-L0,L1,L2

1、什么是L0、L1、L2正则化；

2、正则化的作用；

3、正则化的原理；

4、L1,L2正则化有什么不同；

 

1、什么是L0、L1、L2正则化；

L0正则化

L0范数指的是向量中非零元素的个数；

L0正则化就是限制非零元素的个数在一定的范围，这很明显会带来稀疏。一般而言，用L0范数实现稀疏是一个NP-hard问题，因此人们一般使用L1正则化来对模型进行稀疏约束。

L1正则项

 $L= L_{0} +\alpha \sum_{j=0}^{M}\left | \omega _{j} \right |$

 L2正则项

$L= L_{0} +\alpha \sum_{j=0}^{M}\omega _{j}^{2}$

 

2、正则化的作用；

防止过拟合，提高泛化能力;

1）稀疏性，减少模型参数个数，让模型参数变成0，相当于对模型进行一次特征选择；

2）让模型参数变小，让模型参数在整个模型中的作用变小；

深度学习中可通过Dropout 和 Batch Normalization；

过拟合的原因就是模型训练时过多得考虑训练数据的情况（过犹不及）导致模型过于复杂，这就说明模型的参数过多，导致模型的泛化能力不强。

 

3、正则化的原理；