本文介绍了TensorFlow中常见的优化器，如GradientDescent、Adadelta、Adagrad等，并对比了不同优化器的特性。批量梯度下降、随机梯度下降和动图比较展示了优化器的效果。优化器在逃离鞍点问题上各有优势，Adadelta表现最快，而NAG速度虽快但可能偏离正确方向。选择合适的优化器对于模型训练的效率和准确性至关重要。
Optimizer
- tf.train.GradientDescentOptimizer
- tf.train.AdadeltaOptimizer
- tf.train. AdagradOptimizer
- tf.train.AdagradDAOptimizer
- tf.train.MomentumOptimizer
- tf.train.AdamOptimizer
- tf.train.FtrlOptimizer
- tf.train.ProximalGradientDescentOptimizer
- tf.train.ProximalAdagradOptimizer
- tf.train.RMSPropOptimizer
梯度下降优化器对比
- 标准梯度下降法：先计算所有样本汇总误差，然后根据总误差来更新权值
- 随机梯度下降法：随机抽取一个样本来计算误差，然后更新权值，可能会学习到比较多的噪声
- 批量梯度下降法：是一种折中方案，从总样本中选取一个批次（比如一个有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据这个总误差来更新权值
最低0.47元/天 解锁文章
806
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
