好久没更,说一下反向传播的四个基本方程。
第八篇了,我发现写博客夹带私货的能力倒是强了不少。
今天夹带一个日文歌(搜网易云):
歌手:she Her Her Hers
歌名:Episode 33
❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤分割线
反向传播本质上是表现了权重和偏置的变化如何影响了代价函数。终极意义是计算代价函数的两个偏导: ∂ C / ∂ ω j k l \partial C/\partial \omega_{jk}^{l} ∂C/∂ωjkl和 ∂ C / ∂ b j k l \partial C/\partial b_{jk}^{l} ∂C/∂bjkl。
1 误差 δ j l \delta_{j}^{l} δjl
1.1 δ j l \delta_{j}^{l} δjl的引入
为了计算以上两个偏导数,需要先引入一个中间量 δ j l \delta_{j}^{l} δjl,这个中间量的含义我们暂且定为在第