本文介绍了深度学习中的优化方法，包括SGD（随机梯度下降）、Momentum（动量）以及Adagrad（自适应学习率）。通过动量项增加更新的稳定性，Adagrad则为每个参数自适应地调整学习率。此外，还提及了ResNet的残差结构和Local Response Normalization（LRN）层的作用。
1.优化方法介绍
这里说的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。
- SGD
- SGD是stochastic gradient descent的简称，即随机梯度下降。此外还有BGD，B指的是batch，意思为批量梯度下降。对于训练数据集，我们先将其分为n个batch，每个batch包含m个样本，
x t+1=x t+Δx t
Δx t=−ηg t
其中，η为学习率，gt为x在t时刻的梯度。
- SGD是stochastic gradient descent的简称，即随机梯度下降。此外还有BGD，B指的是batch，意思为批量梯度下降。对于训练数据集，我们先将其分为n个batch，每个batch包含m个样本，
momentum
- SGD方法的一个缺点是，其更新方向完全依赖于当前的batch，十分不稳定，为了解决这个问题，研究者们提出momentum。momentum的意思是动量，旨在模拟物体运动时候所具有的惯性，即更新的时候在一定程度上保留之前更新的方向，同时利用当前batch的梯度微调最终的更新方向，这样一来，可以在一定程度上增加稳定性，从而学习地更快，并且还有一定摆脱局部最优的能力：
Δx t=ρΔx t-1−ηg t
其中
- SGD方法的一个缺点是，其更新方向完全依赖于当前的batch，十分不稳定，为了解决这个问题，研究者们提出momentum。momentum的意思是动量，旨在模拟物体运动时候所具有的惯性，即更新的时候在一定程度上保留之前更新的方向，同时利用当前batch的梯度微调最终的更新方向，这样一来，可以在一定程度上增加稳定性，从而学习地更快，并且还有一定摆脱局部最优的能力：
最低0.47元/天 解锁文章
扫一扫
1195
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
