文中部分图片摘自吴恩达deeplearning课程的作业,代码及课件在我的github:
DeepLearning 课件及作业
关于本篇正则化的具体路径是:
正则化作业
正则化的概念及原因
简单来说,正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。我们在构造机器学习模型时,最终目的是让模型在面对新数据的时候,可以有很好的表现。当你用比较复杂的模型比如神经网络,去拟合数据时,很容易出现过拟合现象(训练集表现很好,测试集表现较差),这会导致模型的泛化能力下降,这时候,我们就需要使用正则化,降低模型的复杂度。
正则化的几种常用方法
L1 & L2范数
首先介绍一下范数的定义,假设
是一个向量,它的
范数定义:
在目标函数后面添加一个系数的“惩罚项”是正则化的常用方式,为了防止系数过大从而让模型变得复杂。在加了正则化项之后的目标函数为:
式中,
是一个常数,
为样本个数,
是一个超参数,用于控