跟李沐学AI：权重衰退

深度学习中的正则化技术是一种预防模型过拟合的策略。过拟合发生在模型在训练数据上表现得过于优秀，以至于它学习到了训练数据中的噪声和细节，而不能很好地泛化到未见过的新数据上。正则化通过向损失函数（或目标函数）中添加一个正则项来工作，这个正则项通常是模型参数的函数，目的是惩罚复杂的模型，鼓励模型学习到更简单、更泛化的特征。

正则项是正则化过程中添加到损失函数（或成本函数）中的额外部分。

权重衰退

使用均方范数作硬性限制

通过限制模型参数值的选择范围以控制模型容量。如限制参数W和的平方小于θ，通常不限制偏移量b。小的θ意味着更强的正则项。最强的正则项为θ=0，即所有参数都为0，只能调整偏移量b。

使用均方范数作柔性限制

在原始损失函数min loss(W, b)的基础上，加入新的参数：罚(penalty)使得W不会过大。λ为超参数，控制了正则项的重要程度。若λ=0，则无作用。若λ趋于无穷，W的最优解逐渐趋于0。若想控制模型容量，可通过增大λ实现需求。

参数更新法则

1. 计算梯度

 2. 时间t更新参数

，等价于。

通常，在深度学习中通常叫做权重衰退。可以理解为先把值变小一点后，再沿梯度反方向走一点点。权重衰退，意味着每次更新前，把权重的值进行了一定地减小。

权重衰退总结

权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度。

正则项权重λ是控制模型复杂度的超参数。