深度学习笔记4：深度神经网络的正则化

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！

对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。

作者简介：
鲁伟：一个数据科学践行者的学习日记。数据挖掘与机器学习，R与Python，理论与实践并行。
个人公众号：数据科学家养成记 （微信ID：louwill12）
配套学习视频教程： 手把手教你用Python 实践深度学习

恍恍惚惚，又20天没写了。今天笔者要写的是关于机器学习和深度学习中的一项关键技术：正则化。相信在机器学习领域摸爬滚打多年的你一定知道正则化是防止模型过拟合的核心技术之一，关于欠拟合和过拟合的问题，本篇笔者就不再展开来说，笔者年初就在一篇文章中详细通俗地阐述了过拟合的相关问题。想要看的朋友猛戳谈谈过拟合

总的来说，监督机器学习的核心原理莫过于如下公式：

该公式可谓是机器学习中最核心最关键最能概述监督学习的核心思想的公式了：所有的有监督机器学习，无非就是正则化参数的同时最小化经验误差函数。最小化经验误差是为了极大程度的拟合训练数据，正则化参数是为了防止过分的拟合训练数据。你看，多么简约数学哲学。正如之前所说，监督机器学习是为了让我们建立的模型能够发现数据中普遍的一般的规律，这个普遍的一般的规律无论对于训练集还是未知的测试集，都具有较好的拟合性能。通俗点举例就是，考试能力很强，应用能力很差，或者是模拟考很强，高考却一般。

先不扯远了，继续回到公式。第一项经验误差函数在机器学习中无疑地位重要，但它不是笔者今天要讲的，今天要讲的是公式的第二项：正则化项。第二项中 λ 为正则化系数，通常是大于 0 的，是一种调整经验误差项和正则化项之间关系的系数。λ = 0 时相当于该公式没有正则化项，模型全力讨好第一项，将经验误差进行最小化，往往这也是最容易发生过拟合的时候。随着 λ 逐渐增大，正则化项在模型选择中的话语权越来越高，对模型的复杂性的惩罚也越来越厉害。所以，在实际的训练过程中，λ 作为一种超参数很大程度上决定了模型生死。

L1 和 L2 范数

系数 λ 说完了，然后就是正则化项，正则化项形式有很多，但常见的也就是 L1 和 L2 正则化。下面笔者就带大家好好拾掇拾掇这些个 L1 L2。

在说常见的 L1 和 L2 之前，先来看一下 L0 正则化。L0 正则化也就是 L0 范数，即矩阵中所有非 0 元素的个数。如何我们在正则化过程中选择了 L0 范数，那该如何理解这个 L0 呢？其实非常简单，L0 范数就是希望要正则化的参数矩阵 W 大多数元素都为 0。如此简