Adam和AdamW的区别
Adam 与 Adamw的区别一句话版本Adamw 即 Adam + weight decate ,效果与 Adam + L2正则化相同,但是计算效率更高,因为L2正则化需要在loss中加入正则项,之后再算梯度,最后在反向传播,而Adamw直接将正则项的梯度加入反向传播的公式中,省去了手动在loss中加正则项这一步实验Adamw算法:图片参考:https://www.cnblogs.com/tfknight/p/13425532.htmlps:以现在的源码为标准,图中的代码12行中:λ=wd





