技术概况python_深度学习中正则化技术概述（附Python代码）

欢迎大家关注我们的网站和系列教程：http://www.tensorflownews.com/，学习更多的机器学习、深度学习的知识！

磐石

介绍

数据科学研究者们最常遇见的问题之一就是怎样避免过拟合。你也许在训练模型的时候也遇到过同样的问题–在训练数据上表现非同一般的好，却在测试集上表现很一般。或者是你曾在公开排行榜上名列前茅，却在最终的榜单排名中下降数百个名次这种情况。那这篇文章会很适合你。

去避免过拟合可以提高我们模型的性能。

在本文中，我们将解释过拟合的概念以及正则化如何帮助克服过拟合问题。随后，我们将介绍几种不同的正则化技术，并且最后实战一个Python实例以进一步巩固这些概念。

注意：本文假设你具备神经网络及其在keras中实现神经网络结构的基本知识。如果没有，你可以先参考下面的文章。

目录

什么是正则化？

正则化如何帮助减少过拟合？

深度学习中的不同正则化技术

L2和L1正则化

Dropout

数据增强(Data Augmentation)

早停(Early stopping)

使用Keras处理MNIST数据案例研究

一、什么是正则化？

深入探讨这个话题之前，请看一下这张图片：

不知道你之前有么有看到过这张图片？当我们训练模型时，我们的模型甚至会试图学到训练数据中的噪声，最终导致在测试集上表现很差。

换句话说就是在模型学习过程中，虽然模型的复杂性增加、训练错误减少，但测试错误却一点也没有减少。这在下图中显示。