Deep Learning|神经网络原理学习笔记(5) ：随机梯度下降算法SGD（附手绘图）、离线学习与在线学习

快开学了，今天一天都静不下心。不如趁着美好的黄昏来更一篇叭。（写了整整一晚上也是没谁了）

惯例推音乐：今天是一首温柔的迷幻摇滚，我正在摇头晃脑的写
希望听到这首歌的盆友们也能摇头晃脑的看完这篇博客(´^`)
歌手：椅子乐团 The Chairs
歌名：Rollin’ On

❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤分割线

1.真实模型的梯度更新规则

在上一篇里我们说到如何用$v$来代替所有自变量，那么用$v$表示的模型看懂了，我们就可以把男女主角权重$w$和偏置$b$换上场了。还记得上次的式子吗？

我们将这个式子描述为位置变量$v$的变化，现在将位置变量$v_j$分解为两个分量，即$w_k$和$b_l$。
因此梯度向量$▽C$也就有了相应的分量，即$\partial C/\partial w_k$和 ∂ C / ∂ b l \partial C/\partial b_{l}