神经网络反向传播（相关公式）

在文章最后，给了一篇pdf，这个pdf是刘大佬找的，也忘了从哪里看的了，这里在文章最后给出链接，全文更加连贯，如果有知道出处的，务必告知，如果不介意引用，我一定给出原文软链。
CSDN的LaTeX是真的烂，没有之一，之前还好好的，现在就不行了！！！

看了网上的帖子，写的很好，不过我还是想自己整理下，有的地方原来的博主还是有点散了，不过建议先看原博，然后在按照如下思路展开，不然可能有点跳跃。
自己认为下面的思路还是很清晰的，编辑公式就花了我好长时间啊。。。

正向传播是为了计算net out的值
反向传播

首先说一下sigmoid函数的一个比较好的特点：
$$f^{\prime }(x)=f(x)\ast (1-f(x))$$

隐含层---->输出层

$\frac{\partial E_{total}}{\partial W_5}=\frac{\partial E_{total}}{\partial ou{t}_{o_1}}\ast \frac{\partial \mathbf{o}\mathbf{u}{\mathbf{t}}_{{\mathbf{o}}_1}}{\partial \mathbf{n}\mathbf{e}{\mathbf{t}}_{{\mathbf{o}}_1}}\ast \frac{\partial \mathbf{n}\mathbf{e}{\mathbf{t}}_{{\mathbf{o}}_1}}{\partial {\mathbf{w}}_5}={\delta }_{o_1}\ast \frac{\partial ne{t}_{o_1}}{\partial w_5}={\delta }_{o_1}\ast {out}_{h_1}$

在这里${\delta }_{o_1}=\frac{\partial E_{total}}{\partial ou{t}_{o_1}}\ast \frac{\partial ou{t}_{o_1}}{\partial ne{t}_{o_1}}$表示\boldsymbol{输出层的误差}含义如下:

KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ \frac {\parti…

因此原式带入后：

KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲\frac {\partial…

隐含层---->隐含层

$$\frac{\partial E_{total}}{\partial W_1}=\frac{\partial E_{total}}{\partial ou{t}_{h_1}}\ast \frac{\partial \mathbf{o}\mathbf{u}{\mathbf{t}}_{{\mathbf{h}}_1}}{\partial \mathbf{n}\mathbf{e}{\mathbf{t}}_{{\mathbf{h}}_1}}\ast \frac{\partial \mathbf{n}\mathbf{e}{\mathbf{t}}_{{\mathbf{h}}_1}}{\partial {\mathbf{w}}_1}$$

这里的$\frac{\partial E_{total}}{\partial ou{t}_{h_1}}$可推导如下：

KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ \frac {\partia…

为了简化公式记$\delta (h_1)$表示隐含层单元$h_1$的误差为

KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ \frac {\partia…

这里的$\delta$和链接顶部的公式是同一个公式，所以为什么偏导是这样的也就解释清楚了，当然在链接也给出了形式化的证明

对比这上面两个，可以发现两个后面的红色字体部分是一样的，只不过针对两个层需要稍微改动点，并且两个偏导数的形式是一样的

参考链接

bp从入门看到激动还想哭 博主墙裂推荐