动手学深度学习——基础优化算法梯度下降，小批量随机梯度下降

一、梯度下降算法

• 挑选一个初始值w0；
• 重复迭代参数t=1,2,3；
• 在接下来不断的更新w0，使它接近最优解；
• 具体来说，法则如下：

wt等于wt的上一时刻减去η乘以损失函数关于wt的上一时刻的梯度。

      沿梯度方向将增加损失函数值。

      η：是指学习率，我沿着这个方向每次走多远。

      学习率：步长的超参数，是需要人为指定的一个值。

注意：

选择学习率：

• 不能太小，如果选的太小，每次的步长有限，每到达一个点都需要走好多步（计算梯度是很贵的，尽量少的计算梯度）；
• 也不能太大，如果太大就可能迈过要下降的地方，使的一直在震荡，并没有真正的下降。

二、小批量随机梯度下降

在整个训练集上算梯度太贵，（需要把所有的训练集重新算一遍），一个深度神经网络模型可能需要数分钟至数小时，代价太大了，这时我们就可以随机采样b个样本i1，i2，....... ,ib来近似损失

当b很大的时候，计算是精确的，当b很小的时候可能没那么精确，但是b很小的时候计算它的梯度是很容易的，因为梯度的计算复杂度和样本的个数是线性相关的。这里b叫做批量大小，是另一个重要的超参数。

注意：

选择批量大小：

• 不能太小，每次计算量太小，不适合并行来最大利用计算资源；
• 也不能太大，内存和批量大小时成正比的。如果使用GPU，内存是一个很大的瓶颈，内存消耗增加，浪费计算；

三、总结

1、梯度下降通过不断沿着反梯度方向更新参数求解；好处是，不需要知道显示解是什么样子，只需要知道怎么求导就行了。

2、小批量随机梯度下降是深度学习默认的求解算法；一般来说是最稳定最简单的。

3、两个重要的超参数是批量大小和学习率。