Adam = Adaptive + Momentum,顾名思义Adam集成了SGD的一阶动量和RMSProp的二阶动量。 参考: https://blog.csdn.net/q295684174/article/details/79130666