批量梯度下降、随机梯度下降与mini-batch随机梯度下降
在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点。
下面我们以线性回归算法来对三种梯度下降法进行比较。
批量梯度下降(BGD)
从上面公式可以注意到,它得到的是一个全局最优解,但是每迭代一步,都要用到训练集所有的数据,如果样本数目m很大,这种方法的迭代速度很慢。
优点:全局最优解;易于并行实现;
缺点:当样本数目很多时,训练过程会很慢。
从迭代的次数上来看,BGD迭代的次数相对较少。其迭代的收敛曲线示意图可以表示如下:
随机梯度下降(SGD)
随机梯度下降是通过每个样本来迭代更新一次,如果样本量很大的情况(例如几十万),那么可能只用其中几万条或者几千条的样本,就已经将theta迭代到最优解了,对比上面的批量梯度下降,迭代一次需要用到十几万训练样本,一次迭代不可能最优,如果迭代10次的话就需要遍历训练样本10次。但是,SGD伴随的一个问题是噪音较BGD要多,使得SGD并不是每次迭代都向着整体最优化方向。
优点:训练速度快;
缺点:准确度下降,并不是全局最优;不易于并行实现。
从迭代的次数上来看,SGD迭代的次数较多,在解空间的搜索过程看起来很盲目。其迭代的收敛曲线示意图可以表示如下:
mini-batch 随机梯度下降
总结:
BGD:每次迭代使用全部样本
SGD:每次迭代使用一个样本
MBGD:每次迭代使用m个样本
Momentum
动量梯度下降法(Gradient descent with Momentum)
还有一种算法叫做Momentum,或者叫做动量梯度下降法,运行速度几乎总是快于标准的梯度下降算法,简而言之,基本的想法就是计算梯度的指数加权平均数,并利用该梯度更新你的权重。
momentum算法的直观理解:
RMSprop
RMSprop全称是root mean square prop 算法,它也可以加速梯度下降。
Adam
Adam 优化算法(Adam optimization algorithm),Adam 代表的是Adaptive Moment Estimation。
Adam 优化算法基本上就是将Momentum 和RMSprop 结合在一起。
参考资料:
1.https://www.cnblogs.com/maybe2030/p/5089753.html#_label1
2.https://github.com/fengdu78/deeplearning_ai_books