深度学习中的正则化技术是一种预防模型过拟合的策略。过拟合发生在模型在训练数据上表现得过于优秀,以至于它学习到了训练数据中的噪声和细节,而不能很好地泛化到未见过的新数据上。正则化通过向损失函数(或目标函数)中添加一个正则项来工作,这个正则项通常是模型参数的函数,目的是惩罚复杂的模型,鼓励模型学习到更简单、更泛化的特征。
正则项是正则化过程中添加到损失函数(或成本函数)中的额外部分。
权重衰退
使用均方范数作硬性限制
通过限制模型参数值的选择范围以控制模型容量。如限制参数W和的平方小于θ,通常不限制偏移量b。小的θ意味着更强的正则项。最强的正则项为θ=0,即所有参数都为0,只能调整偏移量b。
使用均方范数作柔性限制
在原始损失函数min loss(W, b)的基础上,加入新的参数:罚(penalty)使得W不会过大。λ为超参数,控制了正则项的重要程度。若λ=0,则无作用。若λ趋于无穷,W的最优解逐渐趋于0。若想控制模型容量,可通过增大λ实现需求。
参数更新法则
1. 计算梯度
2. 时间t更新参数
,等价于
。
通常,在深度学习中通常叫做权重衰退。可以理解为先把值变小一点后,再沿梯度反方向走一点点。权重衰退,意味着每次更新前,把权重的值进行了一定地减小。
权重衰退总结
权重衰退通过L2正则项使得模型参数不会过大,从而控制模型复杂度。
正则项权重λ是控制模型复杂度的超参数。