darknet中反向传播原理（l.delta究竟在计算什么）

  看darkent的网络框架的小伙伴们，有没有发现其与caffe，pytorch的不同，有没有发现里面没有计算loss的代码，嗯嗯嗯？？？？，forward函数一直在计算l.delta，backward函数也是和l.delta有关系的，看l.delta的计算方式，怎么看都不像是loss的公式，那么，l.delta究竟是什么，搞明白这个问题需要了解反向传播的原理，由于pytorch已经将反向传播完全自动化，即使你将反向传播当作一个黑匣子来看，也不影响你在工作中对网络的训练和测试，可是只知其然不知其所以然的感觉还是很难受的，这种理论的缺失，会在理解某些论文，以及后面的前进的道路上限制我们的发展，俗话说，积累的东西，总是在不经意间发挥作用，厚积薄发么。

一、反向传播

  内容来自《Neural Networks and Deep Learning》，不懂的请自行阅读该书籍。
  反向传播的核心是立即损失函数$C$针对权重$w$或者偏置$b$的偏导数$\frac{\partial C}{\partial w}$，这个偏导数告诉我们，当改变权重$w$时，这种改变是如何快速的影响损失函数。每层的卷积层都自己的权重$w$，并且该层的权重$w$由是多维元素组成的，如何取求每个权重元素关于$C$的偏导数呢。
  首先我们要定义一些符号，帮助我们更好的使用公式推倒反向传播，$w_{jk}^l$表示将第$l－1$层的第$k$个神经元与第$l$层的第$j$个神经元相连接的权重，例如下图：

  同样的道理，偏值$b_j^l$表示第$l$层的第$j$个神经元，使用$a_j^l$表示第$l$层的第$j$个激活值，示意图如下：
那么某个激活函数值计算方式：
$$z_j^l=\sum _k{w}_{jk}^l{a}_k^{l-1}+b_j^l$$　　　
$$a_j^l=\sigma (z_j^l)$$
其实，反向传播计算的就是$\frac{\partial C}{\partial w_{jk}^l}$ 和$\frac{\partial C}{\partial b_j^l}$，但是这个公式很复杂，因此引入了中间变量delta ${\delta }_j^l$，可以看作是第$l$层的第$j$个神经元的错误，反向传播将先计算${\delta }_j^l$，然后$\frac{\partial C}{\partial w_{jk}^l}$ 和$\frac{\partial C}{\partial b_j^l}$都是和${\delta }_j^l$相关，我们定义下面：
$${\delta }_j^l=\frac{\partial C}{\partial z_j^l}$$
接下来，我们将利用求导的链式法则，来探索${\delta }_j^l$与$\frac{\partial C}{\partial w_{jk}^l}$ 和$\frac{\partial C}{\partial b_j^l}$的关系：
公式一：
$$\begin{array}{rl}{\delta }_j^l& =\frac{\partial C}{\partial z_j^l}\\ & =\sum _k\frac{\partial C}{\partial a_k^l}\frac{\partial a_k^l}{\partial z_j^l},其中由a_j^l=\sigma (z_j^l)可知z_j^l只与a_j^l有关系\\ & =\frac{\partial C}{\partial a_j^l}\frac{\partial a_j^l}{\partial z_j^l}\\ & =\frac{\partial C}{\partial a_j^l}{\sigma }^{\prime }(z_j^l)(1)\end{array}$$
公式二：
注：其中l+1层是l层的线性组合，因此，l+1层的每个输入都与$z_j^l$有关系
$$\begin{array}{rl}{\delta }_j^l& =\frac{\partial C}{\partial z_j^l}\\ & =\sum _k\frac{\partial C}{\partial z_k^{l+1}}\frac{\partial z_k^{l+1}}{\partial z_j^l}\end{array}$$
由于$z_k^{l+1}={\sum }_m{w}_{km}^l{a}_m^l+b_k^l={\sum }_m{w}_{km}^l\sigma (z_m^l)+b_k^l$，因此在$z_k^{l+1}$的组成部分中（l层神经元输出的线性组合），只有当m=j的那个部分是和$z_j^l$有关系的，因此下面的公式可以变为：
$$\begin{array}{rl}{\delta }_j^l& =\sum _k{\delta }_k^{l+1}{w}_{kj}{\sigma }^{\prime }(z_j^l)(2)\end{array}$$
公式三：
由$z_j^l={\sum }_k{w}_{jk}^l{a}_k^{l-1}+b_j^l$可知：
$$\begin{array}{rl}\frac{\partial C}{\partial b_j^l}& =\sum _k\frac{\partial C}{\partial z_k^l}\frac{\partial z_k^l}{\partial b_j^l},其中b_j^l只与z_j^l有关系\\ & =\frac{\partial C}{\partial z_j^l}\frac{\partial z_j^l}{\partial b_j^l},\\ & ={\delta }_j^l(3)\end{array}$$
公式四：
由$z_j^l={\sum }_k{w}_{jk}^l{a}_k^{l-1}+b_j^l$可知：
$$\begin{array}{rl}\frac{\partial C}{\partial w_{jk}^l}& =\frac{\partial C}{\partial z_j^l}\frac{\partial z_j^l}{\partial w_{jk}^l}\\ & ={\delta }_j^l\frac{\partial z_j^l}{\partial w_{jk}^l}\\ & ={\delta }_j^l{a}_k^{l-1}(4)\end{array}$$

二、yolo_layer.c中objectness位置的l.delta的推倒

  对于objectness_score位置的预测，作者采用的是logistic regression（逻辑回归）,正样本向1逼近，负样本向0逼近，逻辑回归层的图如下：

逻辑回归的损失函数Ｃ为：
$$C=-ylog(a)-(1-y)log(1-a),其中a=\frac{1}{1+e^{-z}}$$
下面是C关于z的导数计算公式，其中：
$$1-a=\frac{e^{-z}}{(1+e^z)}and\frac{\partial a}{\partial z}=-\frac{e^{-z}}{(1+e^z{)}^2}=-a(1-a)$$
$$\begin{array}{rl}\frac{\partial C}{\partial z}& =-\frac{y}{a}\frac{\partial a}{\partial z}+\frac{1-y}{1-a}\frac{\partial a}{\partial z}\\ & =-\frac{y}{a}a(a-1)+\frac{1-y}{1-a}a(a-1)\\ & =y(1-a)-(1-y)a\\ & =y-ya-a+ya\\ & =y-a\end{array}$$
$$\frac{\partial C}{\partial z}=1-a,当label=1时$$
$$\frac{\partial C}{\partial z}=0-a,当label=0时$$

在yolo_layer.c的代码中我们发现：
l.delta[objectness] = 1 - pred_objectness_score，   anchor框为正样本
l.delta[objectness] = 0 - pred_objectness_score，   anchor框为负样本
l.delta[objectness] = 0 ，                  anchor框不参与训练

yolo_layer.c是最后一层，先求出该层的$\delta$，根据公式(2)，计算出下一层的$\delta$，然后再去计算该层权重和偏值的偏导数，你取看darknet的backward函数，会发现，即使根据这些公式来的，具体的请自己将代码与公式结合进行理解。