目录
权重衰退
是最广泛使用的正则化的技术之一。
使用均方范数作为硬性限制
通过限制参数值的选择范围来控制模型容量。
通常不限制偏移b（因为限制与不限制的差别不大）。
小的θ意味着更强的正则项。
使用均方范数作为柔性限制
对于每个θ，都可以找到λ使得之前的目标函数等价于下面
可以通过拉格朗日乘子来证明。
超参数λ控制了正则项的重要程度。
λ=0：无作用。
λ->是⚮，w*->0。
参数更新法则
- 计算梯度
本文介绍了两种常用的正则化技术：权重衰退和丢弃法。权重衰退通过L2正则项限制参数的大小，防止过拟合，而丢弃法则在训练过程中随机丢弃神经元，增加模型的鲁棒性。丢弃法在某些情况下可能优于权重衰退。这两种方法都是控制模型复杂度的有效手段，调整相应的超参数（如λ和丢弃概率）可以影响模型的性能。
最低0.47元/天 解锁文章
扫一扫
670
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
