https://zhuanlan.zhihu.com/p/32230623
sgd与动量无关
sgdm引入了一阶动量
adam引入了一阶动量与二阶动量
https://blog.csdn.net/program_developer/article/details/80867468
权重衰减作用于L2正则化,使参数变小,减少过拟合。
为什么参数变了可以防止过拟合,因为参数越小模型复杂度越低,对数据的拟合效果更好,同时较大的参数,无关特征的影响也会更小。
深度学习笔记——sgd与adam与weight decay
于 2022-02-26 19:06:07 首次发布