bp网络损失函数及梯度推导理解

跟随吴恩达老师的机器学习课程学习了一段时间，把最近较难的bp网络的一些推导梳理一下。

一、损失函数

logistic回归

假设只有一个输入样本，则代价函数是：
$$J(\theta )=-ylogh(x)-(1-y)log(1-h)$$

多个输入样本只要累加就可以：
$$J(\theta )=-\frac{1}{m}[\sum _{i=1}^m{y}^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]$$

这里的损失函数推导可以参考这篇文章Logistic回归代价函数的数学推导及实现

Neural Network

对于多层神经网络对应的对应损失函数为：
$$J(\theta )=-\frac{1}{m}[\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}log{h}_{\theta }(x^{(i)}{)}_k+(1-y_k^{(i)})log(1-h_{\theta }(x^{(i)}){)}_k]$$
这里的大K对应最后网络的输出，当处理二分类时可以直接用一个单元来输出（用0 1来表示结果）
当处理三分类时，网络最后的输出为三个节点，此时输出及数据集标签应当为一个1*3的矩阵
$$y=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]$$
$y_k$代表y中第k个数 所以对比logistic的损失函数，这里只是最后将y中每一行当作输出再累加
 

二、神经网络正向传播

现在假设有一个三层网络：

 

• ${\theta }^{(i)}$代表第$i$层的参数矩阵
• $z^{(l)}$代表第$i$层的输入
• $a^{(l)}$代表第$i$层的输出

传递过程：

• $a^{(1)}=x$
• $z^{(2)}={\theta }^{(1)}{a}^{(1)}$
• $a^{(2)}=g(z^{(2)})(add{a}_0^{(2)})$
• $z^{(3)}={\theta }^{(2)}{a}^{(2)}$
• $h=a^{(3)}=g(z^{(3)})$

其中$g$为sigmoid激活函数。

 

三、神经网络的反向传递

现在我们可以从前往后得到整个网络的损失函数$J(\theta )$
下一步就是用损失函数对我们所给出的参数求偏导得到梯度即$\frac{\partial \mathbf{J}(\theta )}{\partial {\theta }^{(2)}}$ $\frac{\partial \mathbf{J}(\theta )}{\partial {\theta }^{(1)}}$
 
这里用到链式求导法则$\frac{\partial \mathbf{J}(\theta )}{\partial {\theta }^{(2)}}=\frac{\partial \mathbf{J}(\theta )}{\partial {\mathbf{a}}^{(3)}}\frac{\partial {\mathbf{a}}^{(3)}}{\partial {\mathbf{z}}^{(3)}}\frac{\partial {\mathbf{z}}^{(3)}}{\partial {\theta }^{(2)}}$
 

1. 损失函数$J(\theta )$
   $$\begin{gathered} J(\theta )=-\frac{1}{m}[\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}log{h}_{\theta }(x^{(i)}{)}_k+(1-y_k^{(i)})log(1-h_{\theta }(x^{(i)}{)}_k)] \\ =-\frac{1}{m}[\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}log(a_k^{(3)})+(1-y_k^{(i)})log(1-a_k^{(3)})] \end{gathered}$$

2. $\frac{\partial \mathbf{J}(\theta )}{\partial {\mathbf{a}}^{(3)}}$
   $$\begin{gathered} \frac{\partial J(\theta )}{\partial a^{(3)}}=-\frac{1}{m}[\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}\frac{1}{a_k^{(3)}}+(1-y_k^{(i)})\frac{-1}{1-a_k^{(3)}}] \\ =-\frac{1}{m}[\sum _{i=1}^m\sum _{k=1}^K\frac{y_k^{(i)}-a_k^{(3)}}{a_k^{(3)}(1-a_k^{(3)})}](通分即可) \end{gathered}$$

3. $\frac{\partial {\mathbf{a}}^{(3)}}{\partial {\mathbf{z}}^{(3)}}$
   $$\begin{gathered} a^{(3)}=g(z^{(3)}) \\ \frac{\partial a^{(3)}}{\partial z^{(3)}}=a^{(3)}(1-a^{(3)}) \end{gathered}$$
   这里涉及到sigmoid函数求导：
   $$\begin{gathered} sigmoid函数：f(x)=\frac{1}{1+{\mathrm{e}}^{(-x)}} \\ {f}^{\prime }(x)=f(x)(1-f(x)) \\ (可以自己求一下导) \end{gathered}$$

4. $\frac{\partial {\mathbf{z}}^{(3)}}{\partial {\theta }^{(2)}}$
   $$\begin{gathered} z^{(3)}={\theta }^{(2)}{a}^{(2)} \\ \frac{\partial z^{(3)}}{\partial {\theta }^{(2)}}=a^{(2)} \end{gathered}$$

最后我们可以得到最终的偏导：
$$\begin{gathered} \frac{\partial J(\theta )}{\partial {\theta }^{(2)}}=\frac{\partial J(\theta )}{\partial a^{(3)}}\frac{\partial a^{(3)}}{\partial z^{(3)}}\frac{\partial z^{(3)}}{\partial {\theta }^{(2)}} \\ =-\frac{1}{m}[\sum _{i=1}^m\sum _{k=1}^K\frac{y_k^{(i)}-a_k^{(3)}}{a_k^{(3)}(1-a_k^{(3)})}]a^{(3)}(1-a^{(3)})a^{(2)} \\ =-\frac{1}{m}[\sum _{i=1}^m\sum _{k=1}^K{y}_k^{(i)}-a_k^{(3)}]a^{(2)} \end{gathered}$$
我们定义第三层误差值(此处并非真正意义上的误差)$${\delta }^{(3)}=a^{(3)}-y$$
进一步得到：
$$\begin{gathered} \frac{\partial J(\theta )}{\partial {\theta }^{(2)}}=\frac{1}{m}{\delta }^{(3)}{a}^{(2)} \\ (这里做向量化处理省去之前的累加和) \end{gathered}$$
 

用同样的方法去计算$\frac{\partial \mathbf{J}(\theta )}{\partial {\theta }^{(1)}}$，可以得到：
$$\begin{gathered} \frac{\partial J(\theta )}{\partial {\theta }^{(1)}}=\frac{\partial J(\theta )}{\partial a^{(3)}}\frac{\partial a^{(3)}}{\partial z^{(3)}}\frac{\partial z^{(3)}}{\partial a^{(2)}}\frac{\partial a^{(2)}}{\partial z^{(2)}}\frac{\partial z^{(2)}}{\partial {\theta }^{(1)}} \\ =\frac{1}{m}{\delta }^{(3)}{\theta }^{(2)}{g}^{\prime }(z^{(2)})a^{(1)} \end{gathered}$$
同样令
$${\delta }^{(2)}={\delta }^{(3)}{\theta }^{(2)}{g}^{\prime }(z^{(2)})$$
所以有：
$$\frac{\partial J(\theta )}{\partial {\theta }^{(1)}}=\frac{1}{m}{\delta }^{(2)}{a}^{(1)}$$
最后将$\frac{\partial \mathbf{J}(\theta )}{\partial {\theta }^{(2)}}$ $\frac{\partial \mathbf{J}(\theta )}{\partial {\theta }^{(1)}}$相加即为总梯度，之后再用梯度下降或其他优化方法来求解出最佳参数，至此这个三层网络的反向推导就完成了。

 

四、总结

接着以四层网络为例作为总结，简洁展示整个梯度的计算

1、每一层的“误差”

• ${\delta }^{(4)}=a^{(4)}-y$
• ${\delta }^{(3)}={\delta }^{(4)}{\theta }^{(3)}{g}^{\prime }(z^{(3)})$
• ${\delta }^{(2)}={\delta }^{(3)}{\theta }^{(2)}{g}^{\prime }(z^{(2)})$
   

2、梯度

• ${\Delta }^{(3)}=a^{(3)}{\delta }^{(4)}$
• ${\Delta }^{(2)}=a^{(2)}{\delta }^{(3)}$
• ${\Delta }^{(1)}=a^{(1)}{\delta }^{(2)}$
   

3、总梯度

$D=\frac{1}{m}({\Delta }^{(1)}+{\Delta }^{(2)}+{\Delta }^{(3)})$