随机梯度下降算法

关与权重w的损失函数loss是确定的

 

（这里的是通过包含权重w的模型计算而来）

w更新的公式：

 这里有两种情况：

1.此时的w所在点导数为负的情况，如图loss关与w的的图像：

目标是loss最低的位置，那么w应该更向右，也就是需要增加w, 此时的导数为负，在上面公式中在导数前加负号，那么计算而出的w就是不断增加的。

2.此时的w所在点导数为正的情况，就是这样的：

目标是loss最低点位置，那么也就是需要减少w,此时的导数为正，在上面公式中在导数前加负号，那么计算而出的w就是不断减少的。

经过这样的参数更新，就可以找到使loss值最小的那个w,那么就训练成功！