神经网络梯度下降学习笔记

学习一个模型：
前向计算部分
损失函数：
mean square error:MSE
cross enporty
反向传播部分
模型参数初始化

BGD/SGD/mini-batch GD

Batch gradient descent:BGD批梯度下降法

链接: 批梯度下降法(Batch Gradient Descent )，小批梯度下降 (Mini-Batch GD)，随机梯度下降 (Stochastic GD)

优点：全局最优解；易于并行实现；
缺点：当样本数目很多时，训练过程会很慢。
从迭代的次数上来看，BGD迭代的次数相对较少。其迭代的收敛曲线示意图可以表示如下：

随机梯度下降法

SGD
权重参数记为W，把损失函数关于W的梯度记为∂L/∂W 。η 表示学习率，实际上会取 0.01 或 0.001 这些事先决定好的值。式子中的←表示用右边的值更新左边的值。

在都是凸函数的情况下：
相对于Batch方式，SGD的更新方式，波动大
可能使得梯度下降到更好的两一个局部最优解
但另一方面来讲，SGD的更新可能导致梯度一直在局部最优解附近波动
训练时不断的缓慢减小学习率，SGD能和Batch方法一样，在凸损失函数曲面取得全局最优解，对于非凸曲面能取得局部最优解