梯度下降算法动图_Deep Learning|神经网络原理学习笔记(5) ：随机梯度下降算法SGD（附手绘图）、离线学习与在线学习...

快开学了，今天一天都静不下心。不如趁着美好的黄昏来更一篇叭。(写了整整一晚上也是没谁了)

惯例推音乐：今天是一首温柔的迷幻摇滚，我正在摇头晃脑的写

希望听到这首歌的盆友们也能摇头晃脑的看完这篇博客(´^`)

歌手：椅子乐团 The Chairs

歌名：Rollin’ On

❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤分割线

1.真实模型的梯度更新规则

在上一篇里我们说到如何用vvv来代替所有自变量，那么用vvv表示的模型看懂了，我们就可以把男女主角权重www和偏置bbb换上场了。还记得上次的式子吗？

我们将这个式子描述为位置变量vvv的变化，现在将位置变量vjv_{j}vj​分解为两个分量，即wkw_{k}wk​和blb_{l}bl​。

因此梯度向量▽C\bigtriangledown C▽C也就有了相应的分量，即∂C/∂wk\partial C/\partial w_{k}∂C/∂wk​和∂C/∂bl\partial C/\partial b_{l}∂C/∂bl​。

我们用这些分量，模仿vvv来写wkw_{k}wk​和blb_{l}bl​的更新规则。

梯度下降算法在神经网络中使用的原理，就是利用算法去寻找能使代价函数CCC取得最小值的权重www和偏置bbb。利用上面的两条更新规则，我们就可以找到让小球沿曲面滚到最低点的路线。也就会找到CCC的最小值。