模型调优之正则化

正则化的不同方法：

• L1正则化
• L2正则化
• Dropout

---

L1正则化和L2正则化

首先什么是正则化？正则化就是约束目标函数，使得目标函数能够更适应现实问题。机器学习出来的目标函数通常可以很好地拟合训练数据，但泛化能力差，这种成为过拟合现象，为了解决过拟合现象从而在目标函数中引入一个约束项。

图片来自吴恩达深度学习课程

如上图中的损失函数，当参数labda越大，W越小，目标函数越接近线性，越接近第一幅图，因此要选择合适的lambd。上图中选择的是L2范数正则化，那么L1和L2正则化有什么区别呢？

L1更倾向于挑出最重要的特征（被认为不重要的特征可能系数会被置零从而被去掉）而L2更倾向于控制所有的权重（不那么重要的特征会被赋予很小的系数），具体使用哪一个方法要在具体事例中通过实验得出。

Dropout

Dropout即为神经网络在训练中随即丢弃一些神经元，此方法也被应用到很多网络结构中。