深度学习中的正则化

1.什么是正则化

      正则化是机器学习中减少泛化误差的技术，特别是在深度学习模型中，由于模型参数非常多非常容易产生过拟合。

常见的正则化技术：

  1.参数增加约束  例如  l1，l2 范数。

  2.训练集合扩充    例如 添加噪声，数据变化等。

  3.dropout

  4.提前停止

 

 

训练数据的扩充常见的方法：

1.对图片的处理常见的操作：旋转，缩放，超分辨

2.语音识别中对输入数据添加噪声

3.NLP 中进行近义词替换

4.噪声注入  

 

dropout

1.随机的丢弃一部分输入，丢弃部分的参数不会更新，得到自网络。最后将所有子网络进行合并。