优化方法总结:SGD,Momentum,AdaGrad,RMSProp,Adam
转载自: https://blog.csdn.net/u010089444/article/details/76725843
1. SGD
Batch Gradient Descent
在每一轮的训练过程中,Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度,并用该梯度对模型参数进行更新:
Θ=Θ−α⋅▽ΘJ(Θ)Θ=Θ−α⋅▽ΘJ(...
转载
2018-09-07 10:29:09 ·
245 阅读 ·
0 评论