参考:pytorch优化器详解:Adam_拿铁大侠的博客-CSDN博客_pytorch中adam优化器参数 从Momentum、RMSprop到Adam - 简书 理解滑动平均(exponential moving average) - wuliytTaotao - 博客园 目录 一、Adam Adam计算过程 amsgrad 二、滑动平均的好处 一、Adam