BGD批量梯度下降：对整个样本计算和更新梯度，速度缓慢，但是可以收敛到全局最优点。
SGD随机梯度下降：每次训练对一个样本计算更新梯度，速度快，但是震动频繁，易局部最优。
动量梯度下降：在SGD基础上，加上一定惯性值，缓解震荡程度。
Adagrad:自适应梯度下降，可以自适应调整学习率，每个参数拥有自己的学习率，对低频参数更新较大高频参数更新小。但是由于其分母为梯度平方的累加和，容易导致随着模型训练其越来越小。稀疏特征表现更优。
Adadelta：减少Adagrad对全局学习率的依赖，加上了衰减因子。
RMSprop:特征情况下的Adadelta，在参数为0.5时仍然使用全局学习率。
Adam：综合考虑了梯度的均值和梯度平方，使用了梯度的一阶和二阶导数信息一般更优。
本文探讨了优化算法在机器学习中的不同方法，包括BGD批量梯度下降（全局最优但速度慢），SGD随机梯度下降（速度快但易陷入局部最优），动量梯度下降（缓解SGD震荡），Adagrad（自适应学习率，适合稀疏特征），Adadelta和RMSprop（改进Adagrad，减少全局学习率依赖），以及Adam算法（结合一阶和二阶导数信息，通常表现更优）。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
