YOLOv3反向传播原理 之 公式推导

图中，蓝色圆形为求和单元，黄色方形为激活单元。假设网络为$L$层，每层的神经元个数为$N(l)$个。输入为 { x 1 , 0 , x 2 , 0 , . . . , x N ( 0 ) , 0 } \lbrace{x_{1,0},x_{2,0},...,x_{N(0),0}}\rbrace { x1,0​,x2,0​,...,xN(0),0​} ，表示初始层的输入。第$l$层第$n$个神经元的输入为 { y 1 , l − 1 , y 2 , l − 1 , . . . , y N ( l − 1 ) , l − 1 } \lbrace{y_{1,l-1},y_{2,l-1},...,y_{N(l-1),l-1}}\rbrace { y1,l−1​,y2,l−1​,...,yN(l−1),l−1​}，对应的仿射变换的权重为 { w 1 , n , l − 1 , w 2 , n , l − 1 , . . . , w N ( l − 2 ) , n , l − 1 } \lbrace{w_{1,n,l-1},w_{2,n,l-1},...,w_{N(l-2),n,l-1}}\rbrace { w1,n,l−1​,w2,n,l−1​,...,wN(l−2),n,l−1​}，偏置为$b_{n,l-1}$。经过放射变换后的到$z_{n,l}$，再经过激活函数得到$y_{n,l}$。第l层输出为$N_l$个。
在我们前面一篇文章《YOLO中LOSS函数的计算》中，我们对二分类交叉熵损失函数和平方差损失函数进行求导，证明两种损失函数具有一致性。这里为了方便计算假设LOSS函数为
$$LOSS=-\frac{1}{2}\sum _{n=1}^{N(l),l=L}(y_{n,l}^{\prime }-y_{n,l}{)}^2$$
其中，$y_{n,l}^{\prime }$表示真值，为了使推导更具有普遍性，这个LOSS函数并不特指回归还是分类。同时，为了方便后续YOLO源码分析，我们令$delta=y_{n,l}^{\prime }-y_{n,l}$，则LOSS函数如下
$$LOSS=-\frac{1}{2}\sum _{n=1}^{N(l),l=L}delt{a}_{n,l}^2$$
接下来要做的事就是求导。我们前面说了，求导就是求针对输出的导数和求权重的导数，这两个求导交替进行。按照一般的思路，我们这里从头开始，最后归纳出普遍的求导公式。
首先，第$L$层针对输出值$y_{n,L}$的导数为
$$\frac{\partial LOSS}{\partial y_{n,l}}=-delt{a}_{n,l}\frac{\partial delt{a}_{n,l}}{\partial y_{n,l}}=delt{a}_{n,l}$$
第$L$层第$n$个神经元，针对权重$w_{n(L-1),n(L),L}$的导数为

$$\frac{\partial LOSS}{\partial w_{n(L-1),n(L),L}}=\frac{\partial LOSS}{\partial y_{n(L),L}}\frac{\partial y_{n(L),L}}{\partial z_{n(L),L}}\frac{\partial z_{n(L),L}}{\partial w_{n(L-1),n(L),L}}=$$