本文深入解析L2正则化原理，探讨其在反向传播中的梯度计算，并通过TensorFlow和PyTorch的实例进行验证，展示了L2正则化在神经网络权重更新中的应用。
摘要
本文解释L2正则化Regularization, 求解其在反向传播中的梯度, 并使用TensorFlow和PyTorch验证.
相关
系列文章索引 :
https://blog.csdn.net/oBrightLamp/article/details/85067981
正文
1. L2 正则原理
若某一个神经网络存在一个参数矩阵 W m × n W_{m\times n} Wm×n, 该网络在训练时输出一个损失值 error (标量 e 0 e_0 e0), 对 W 加上L2正则化项后的损失值为 e e e. 已知 e 0 e_0 e0 对 W 的梯度为 ∇ e 0 ( W ) \nabla {e_0}_{(W)} ∇e0(W), 求 e 对 W 的梯度.
根据题意 :
e = e 0 + r    r = λ 2 ∑ i = 1 m ∑ j = 1 n w i j 2 e = e_0+r\\ \;\\ r = \frac{\lambda}{2}\sum_{i=1}^{m}\sum_{j=1}^{n}w_{ij}^2 e=e0+rr=2λi=1∑mj=1∑n
最低0.47元/天 解锁文章
扫一扫
1693
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
