sduerchenbo的博客

1. Adam Adam 算法全称为 Adaptive Moment Estimate, 这种算法结合了基于动量的算法和基于自适应学习率的算法. Adam 算法记录了梯度的一阶矩 (梯度的期望值) 和二阶矩 (梯度平方的期望值). 1.1 定义 其中p,g,m,v,β1,β2,E 分别表示参数, 梯度, 一阶矩, 二阶矩, 衰减率和极小值 (防止 0 分母). Adam 的必要参数是衰减率 β1, β2, 一般取 β1 = 0.9,β 2 = 0.999,β2=0.999,E取10e-1..