反向传播算法的数学推导

反向传播算法的数学推导

视频链接：[双语字幕]吴恩达深度学习deeplearning.ai_哔哩哔哩

本篇文章中将对于以下网络进行说明。

假设网络总共有三层，假设输入层有$n^{[0]}$个神经元，隐藏层有$n^{[1]}$个神经元，输出层有$n^{[2]}$个神经元。

这里先假设$x$为单样本，待推出结果后我们再进行向量化的推导。

这里对各个参数的维数进行说明，方便后面再推导过程中的理解：

参数	维数
$x$	$(n^{[0]},1)$
$W^{[1]}$	$(n^{[1]},n^{[0]})$
$b^{[1]}$	$(n^{[1]},1)$
$z^{[1]}$	$(n^{[1]},1)$
$a^{[1]}$	$(n^{[1]},1)$
$W^{[2]}$	$(n^{[2]},n^{[1]})$
$b^{[2]}$	$(n^{[2]},1)$
$z^{[2]}$	$(n^{[2]},1)$
$a^{[2]}$	$(n^{[2]},1)$

在这里，我们假设这是一个二分类问题，那么损失函数可以取$L(a,y)=-y\log (a)-(1-y)log(1-a)$

反向传播算法即是损失函数对于模型中的权重矩阵和偏置的偏导数，我们可以使用链式法则一步一步去求导。

首先我们需要先求出来两个最基本的偏导数：
$$\begin{array}{rl}\frac{\partial L}{\partial a}& =-\frac{y}{a}+\frac{1-y}{1-a}\\ & =\frac{a-y}{a(1-a)}\end{array}\text{\hspace{1em}(1)}$$

$$\begin{array}{rl}{\sigma }^{\prime }& =\frac{e^{-z}}{(1+e^{-z}{)}^2}\\ & =\frac{1}{1+e^{-z}}\times \frac{e^{-z}}{1+e^{-z}}\\ & =a(1-a)\end{array}\text{\hspace{1em}(2)}$$

有了这两个最基本的偏导数之后，我们就可以使用链式法则依次对各个参数求偏导：

在这里我们约定符号$da$即代表着损失函数$L$对于参数$a$的偏导数，以简化我们的公式表示。

在下面的推导中

• $\cdot$ 代表点乘，即正常的矩阵乘法
• $\ast$ 代表按元素乘，即对应位置的元素进行乘法

$$\begin{array}{rlr}& d{a}^{[2]}=\frac{\partial L}{\partial a^{[2]}}=\frac{a^{[2]}-y}{a^{[2]}(1-a^{[2]})}& (n^{[2]},1)\\ & d{z}^{[2]}=\frac{\partial L}{\partial z^{[2]}}=\frac{\partial L}{\partial a^{[2]}}\cdot \frac{d{a}^{[2]}}{dz}=d{a}^{[2]}\cdot {\sigma }^{\prime }=a^{[2]}-y& (n^{[2]},1)\\ & d{W}^{[2]}=\frac{\partial L}{\partial W^{[2]}}=\frac{\partial L}{\partial z^{[2]}}\cdot \frac{\partial z^{[2]}}{\partial W^{[2]}}=d{z}^{[2]}\cdot a^{[1{]}^T}& (n^{[2]},1)\cdot (n^{[1]},1{)}^T=(n^{[2]},n^{[1]})\\ & d{b}^{[2]}=\frac{\partial L}{\partial b^{[2]}}=\frac{\partial L}{\partial z^{[2]}}\cdot \frac{\partial z^{[2]}}{\partial b^{[2]}}=d{z}^{[2]}& (n^{[2]},1)\\ & d{a}^{[1]}=\frac{\partial L}{\partial a^{[1]}}=\frac{\partial L}{\partial z^{[2]}}\cdot \frac{d{z}^{[2]}}{d{a}^{[1]}}=W^{[2{]}^T}\cdot d{z}^{[2]}& (n^{[2]},n^{[1]}{)}^T\cdot (n^{[2]},1)=(n^{[1]},1)\\ & d{z}^{[1]}=\frac{\partial L}{\partial z^{[1]}}=\frac{\partial L}{\partial a^{[1]}}\cdot \frac{d{a}^{[1]}}{d{z}^{[1]}}=d{a}^{[1]}\cdot {\sigma }^{\prime }(z^{[1]})=W^{[2{]}^T}\cdot d{z}^{[2]}\ast {\sigma }^{\prime }(z^{[1]})& (n^{[1]},1)\ast (n^{[1]},1)=(n^{[1]},1)\\ & d{W}^{[1]}=\frac{\partial L}{\partial W^{[1]}}=\frac{\partial L}{\partial z^{[1]}}\cdot \frac{d{z}^{[1]}}{d{W}^{[1]}}=d{z}^{[1]}\cdot x^T& (n^{[1]},1)\cdot (n^{[0]},1{)}^T=(n^{[1]},n^{[0]})\\ & d{b}^{[1]}=\frac{\partial L}{\partial b^{[1]}}=\frac{\partial L}{\partial z^{[1]}}\cdot \frac{d{z}^{[1]}}{d{b}^{[1]}}=d{z}^{[1]}& (n^{[1]},1)\end{array}$$

上面这个过程建议如果有微积分基础的话自己推导一下，同时在推导的过程中要把维数带着进行验证，看最后的维度是不是这里需要的维度。

例如对于$d{W}^{[1]}$和$d{W}^{[2]}$而言，后面乘的是$a^{[1{]}^T}$而不是$a^{[1]}$，就是为了满足$W^{[1]},W^{[2]}$的维度

接下来展示一下向量化的表示方法，也就是在深度学习代码中用到的计算方式：

其中np.sum(dZ^{[2]},axis=1,keepdims=True)是python中numpy库中的求和函数

$$\begin{array}{rl}& d{Z}^{[2]}=A^{[2]}-Y\\ & d{W}^{[2]}=\frac{1}{m}d{Z}^{[2]}{A}^{[1{]}^T}\\ & d{b}^{[2]}=\frac{1}{m}\ast np.sum(d{Z}^{[2]},axis=1,keepdims=True)\\ & d{Z}^{[1]}=W^{[2{]}^T}d{Z}^{[2]}\ast g^{[1{]}^{\prime }}(Z^{[1]})\\ & d{W}^{[1]}=\frac{1}{m}d{Z}^{[1]}{X}^T\\ & d{b}^{[1]}=\frac{1}{m}\ast np.sum(d{Z}^{[1]},axis=1,keepdims=True)\end{array}$$