目录
Optimization
使用优化方法,为了训练集的模型参数使Loss最小,深度学习的优化方法有:SGD,Adam,Adagrad
1.计算得到的gradient
2.在一个time step里用全部的样本数据来计算
3.SGD
每次只取一个example
下一次移动的方向是上一次的参数计算得到的梯度的反方向
3.1 SGD with Momentum
此方法除了考虑这一次计算得到的梯度之外,还要考虑之前所有的参数得到的梯度
4.Adagrad
Adagrad比gradient descent多了一个前面所有的梯度的均方根
5. RMSProp
RMSProp的数值不会一直向上增大