本文详细介绍了深度学习中常见的优化器，包括批量梯度下降（BGD）、随机梯度下降（SGD）、小批量梯度下降（MBGD）、动量优化（Momentum）、NAG、Adagrad、Adadelta、RMSprop和Adam。针对不同求解器的优缺点进行了对比，解释了它们如何适应不同场景和数据集，为选择合适的优化算法提供了指导。
参考博客：
***** 深度学习必备：随机梯度下降（SGD）优化算法及可视化：
**** 深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）：
***** 为什么说随机最速下降法 (SGD) 是一个很好的方法？：
}
一、概述
求解器（solver），也称为优化器。
对于优化算法，优化的目标是网络模型中的参数θ（是一个集合，θ1、θ2、θ3 …）。目标函数为损失函数L = 1/N ∑ Li （每个样本损失函数的叠加求均值）。
这个损失函数L变量就是θ，其中L中的参数是整个训练集，换句话说，目标函数
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
