Deep Learning三种梯度下降方式:批量batch,随机stochastic,小批量mini-batch
批量梯度下降法(Batch Gradient Descent)
在每次更新参数时都会将全部数据集计算一遍。
优点:全局最优解,能保证每一次更新权值,都能降低损失函数;易于并行实现。
缺点:当样本数目很多时,训练过程会很慢,计算量开销大,不支持在线学习。
随机梯度下降法(Stochastic Gradient Descent)
每计算一个样本就更新一次参数。如果样本量很大的情况(例如几十万)...
原创
2019-07-29 18:00:12 ·
642 阅读 ·
0 评论