梯度下降法(Gradient Descent)
优化思想:用当前位置的负梯度方向作为搜索方向,亦即为当前位置下降最快的方向,也称“最速下降法”。越接近目标值时,步长越小,下降越慢。
如下图所示,梯度下降不一定能找到全局最优解,可能寻找到的是局部最优解。(当损失函数是凸函数时,梯度下降得到的解一定是全局最优解,因为凸函数的极小值即为最小值)
![](https://i-blog.csdnimg.cn/blog_migrate/1b4a0c83351c2c292b81c259fb869fa5.png)
批量梯度下降法(Batch Gradient Descent,BGD):在更新参数时,BGD根据batch中的所有样本对参数进行更新。
![](https://i-blog.csdnimg.cn/blog_migrate/7f62be4fb17eb1023aa8d342ee87cfb9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/ca6fab08760c010b454cfdf0d28e7f70.png)
![](https://i-blog.csdnimg.cn/blog_migrate/4f7c8470b9841545ef9bda3911f82805.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a486f56f1cc40d7a2e0739b4aeee9cb8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bca8b2cb8bd6878b780736e39e71e439.png)
随机梯度下降法(Stochastic Gradient Descent,SGD):和BGD的原理类似,区别在于每次随机选取一个样本j求梯度。
对于训练速度来说,SGD每次仅仅采用一个样本来迭代,训练速度很快,而BGD在样本量很大的时候,训练速度不能让人满意。
对于准确度来说,SGD仅仅用一个样本决定梯度方向,导致解很有可能不是最优。
对于收敛速度来说,由于SGD一次迭代一个样本,导致迭代方向变化很大,不能很快的收敛到局部最优解。
![](https://i-blog.csdnimg.cn/blog_migrate/109aa862d6092a72197b0e741baae6af.png)
小批量梯度下降法(Mini-batch Gradient Desent,也称Mini-batch SGD):BGD和SGD二者的折中法,对于m个样本,选取x个子样本进行迭代,且1<x<m。
![](https://i-blog.csdnimg.cn/blog_migrate/21ed207327a5ef03d7745735f8026ae2.png)
(1)选择n个训练样本(n<m,m为总训练集样本数)(即batchsize = n,样本总数为m,随机的思想在于每个epoch之前,随机打乱样本顺序,顺序选取n个样本作为batch)
(2)在这n个样本中进行n次迭代,每次使用1个样本
(3)对n次迭代得出的n个gradient进行加权平均再并求和,作为这一次mini-batch下降梯度
(4)不断在训练集中重复以上步骤,直到收敛。