往期回顾：
03——支持向量机以及核方法
04——从传统机器学习走向深度学习
05——深度前馈网络、神经网络概述
上一节我们说了神经网络设计的基本组件和过程，下面我们再学习一下正则化策略。(主要参考《深度学习》)
深度学习模型不仅要在训练数据上表现好，还要能在新的输入上泛化很好。因此有许多策略被显式地设计来减少测试误差（可能以增大训练误差为代价）。这些策略被称为正则化。
一、参数范数惩罚
许多正则化方法通过对目标函数 J J J添加一个参数范数惩罚 Ω ( θ ) \Omega(\theta) Ω(θ)。限制模型的学习能力。即： J ~ ( θ ; X , y ) = J ( θ ; X , y ) + α Ω ( θ ) \tilde J(\boldsymbol{\theta;X,y})=J(\boldsymbol{\theta;X,y})+\alpha\Omega(\boldsymbol \theta) J~(θ;X,y)=J(θ;X,y)+αΩ(θ)其中 α \alpha α是超参数，越大对应的正则化惩罚越大。
我们通常只对权重作惩罚而不对偏置惩罚，因为精确拟合偏置所需的数据远少于权重，因此我们不惩罚它也不会造成太大误差。此外，如果正则化偏置参数可能导致明显的欠拟合。
同时，由于神经网络的层数很多，我们一般会在所有层使用相同参数的权重衰减。
1. L 2 L^2 L2参数正则化
通常被称为权重衰减的 L 2 L^2 L2参数范数惩罚，这个策略是 Ω ( θ ) = 1 2 ∥ w ∥ 2 2 \Omega(\theta)={1\over 2}\|w\|^2_2 Ω(θ)=21∥w∥22,使权重更接近原点（接近其他点也同样有正则效果，且越接近真实值越好，但一般我们不知道真实值，因此通常选择原点）。有些文章也可能将 L 2 L^2 L2称为岭回归或 Tikhonov 正则。
因此目标函数变为：
J ~ ( θ ; X , y ) = J ( θ ; X , y ) + α 2 w T w \tilde J(\boldsymbol{\theta;X,y})=J(\boldsymbol{\theta;X,y})+{\alpha \over 2}w^Tw J~(θ;X,y)=J(θ;X,y)+2
最低0.47元/天 解锁文章
2322
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
