之前这种梯度下降法又称为批量梯度下降法(Batch Gradient Descent)
梯度下降法每次求梯度都需要将所有的样本代入进行运算,当样本的数量较大时,耗费的时间将会很多。为了改进,提出了随机梯度下降法。它采用的公式如下,即每次只取1个样本进行运算。由于是随机的,所以不能保证每次损失函数都能是下降的趋势。
由于我们使用的是随机梯度下降法,所以导致我们的最终结果不会像批量梯度下降法一样准确的朝着一个方向运算,而是曲线行下降。这时候我们就希望,越到下面,η值相应减小,事运算次数变多,从而精确计算结果。此时我们可以考虑η = 1 / 迭代次数。但是这种实现可能有时候有问题,比如当循环次数比较少的时候η值下降的太快,故可以在分母上加上一个常数b缓解情况,防止初始时η下降太快,让分子也取常数a能使效果好点。(在此取经验值a = 5,b = 50)