SGD没有一阶和二阶动量。adam是融合了这两种动量。 参考:https://blog.csdn.net/yinyu19950811/article/details/90476956 【十分钟搞明白Adam和AdamW,SGD,Momentum,RMSProp,Adam,AdamW】