Andrew Ng 深度学习课程——神经网络和深度学习

感谢Andrew Ng的公开课¹，这个博客主要是记录公开课的学习过程与理解。

神经网络基础

介绍神经网络的基础，主要是数学表达式，梯度下降法，等的介绍，从简单入手理解神经网络。

逻辑回归

通过介绍逻辑回归（Logistic Regression）理解神经网络问题。假设一个问题有3个参数，分别是$x_1$,$x_2$,$x_3$，他们共同决定了一个输出$y$。比如，$y$评价房子是不是值得买，那么$x$就可能是面积，地段，楼层等参数。有很多房子的参数信息以及房子的评价，这里，我们使用“值得买”，"不值得买"表示两个状态，在数学上，用0,1表示。0-不值得买，1-值得买。那么可以有：
$$w_1{x}_1+w_2{x}_2+w_3{x}_3+b=y_1$$使用三个$w$参数和一个$b$参数与输入的$x$进行运算得到是不是值得买。那么当有很多个输入参数与是否值得的评价就可以得到方程组：
$$\begin{array}{l}{w}_1{x}_1^{(1)}+w_2{x}_2^{(1)}+w_3{x}_3^{(1)}+b=y^{(1)}\\ w_1{x}_1^{(2)}+w_2{x}_2^{(2)}+w_3{x}_3^{(2)}+b=y^{(2)}\\ w_1{x}_1^{(i)}+w_2{x}_2^{(i)}+w_3{x}_3^{(i)}+b=y^{(i)}\\ ......\\ w_1{x}_1^{(m)}+w_2{x}_2^{(m)}+w_3{x}_3^{(m)}+b=y^{(m)}\end{array}$$可以简记为：$${\mathbf{w}}^T\mathbf{x}+\mathbf{b}=\mathbf{y}$$对于每一个$y$来说，我们希望他是0或1，如果都是0或1并且和实际的是否值得买一一对应，那么参数就适合这个模型。所以我们希望通过$w_1{x}_1^{(i)}+w_2{x}_2^{(i)}+w_3{x}_3^{(i)}+b=y^{(i)}$计算出来的$y$的值与实际的$y$相等或者相近。假设计算的$y$的结果为$\hat{y}$，实际的$y$值就是$y$。对于单个样本来说，使用方程计算出来的值的范围为整个实数区间，但是我们要求的只有0或1，或者0-1这个范围，所以就有了激活函数的概念，把输出的值映射到0-1的区间中，使用sigmoid函数：
$$y(z)=\frac{1}{1+e^{-z}}$$函数的图形可以表示为：

实现的python脚本为：

import matplotlib.pyplot as plt
import math

x = [i for i in range(-10, 10)]
y = [1 / (1 + math.exp(-i)) for i in range(-10, 10)]
plt.plot(x, y)
plt.xlabel('x')
plt.ylabel('y')
plt.title('sigmoid')
plt.show()

损失函数

对于上面的方程，可以更加简单表示为：${\hat{y}}^{(i)}=\sigma (w^T{x}^{(i)}+b)$，其中，$\sigma (z^{(i)})=\frac{1}{1+e^{-z^{(i)}}}$，对于所有的样本 { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , . . . , ( x ( m ) , y ( m ) ) } \{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})\} {(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))}，都希望${\hat{y}}^{(i)}=y^{(i)}$。所以定义损失函数，让损失函数达到最小，就达到了模型的目标。对于计算标签${\hat{y}}^{(i)}$和实际标签$y^{(i)}$，定义单个样本的损失函数为：
$$\mathcal{L}({\hat{y}}^{(i)},y^{(i)})=-(y^{(i)}\log {\hat{y}}^{(i)}+(1-y^{(i)})\log (1-{\hat{y}}^{(i)}))$$，定义这样的损失函数后，当$y=1$时，$\mathcal{L}({\hat{y}}^{(i)},y^{(i)})=-\log {\hat{y}}^{(i)}$，为了让$\mathcal{L}({\hat{y}}^{(i)},y^{(i)})$最小，就是$\log {\hat{y}}^{(i)}$最大，即${\hat{y}}^{(i)}$最大，${\hat{y}}^{(i)}$的最大值就是1，所以就是$y^{(i)}\approx {\hat{y}}^{(i)}$；当$y=0$时，$\mathcal{L}({\hat{y}}^{(i)},y^{(i)})=-\log (1-{\hat{y}}^{(i)})$，为了让$\mathcal{L}({\hat{y}}^{(i)},y^{(i)})$最小，就是$\log (1-{\hat{y}}^{(i)})$最大，${\hat{y}}^{(i)}$最小，最小就是0，所以这个时候$y^{(i)}\approx {\hat{y}}^{(i)}$。
这时单个样本的损失表达式，对于$m$个样本的总体损失函数表达为：
$$\mathcal{J}(w,b)=\frac{1}{m}\sum _{i=1}^m\mathcal{L}({\hat{y}}^{(i)},y^{(i)})$$

梯度下降

梯度下降就是使用函数值在该点的梯度作为变化的方向的方法，让函数值逐步达到极值点。使用的梯度下降法的表达为：
$$\begin{array}{l}w:=w-\alpha \frac{dJ}{dw}\\ \\ b:=b-\alpha \frac{dJ}{dw}\end{array}$$其中，$\alpha$表示学习率，$\frac{dJ}{dw}$表示的就是梯度。这样就能让函数值慢慢达到一个极值点（可能时局部的极值点）。
但是如何计算这个梯度，然后带回到表达式中，不断迭代优化参数呢？答案是通过链式求导法则进行求导。现在有的表达式有：
$$\begin{array}{l}z=w^{T}x+b\\ \hat{y}=a=\sigma (z)\\ \mathcal{L}(a,y)=-(y\log a+(1-y)\log (1-a))\end{array}$$为了书写方便，就令$\hat{y}=a$了。现在要求的就是$\frac{dJ}{dw}$和$\frac{dJ}{db}$了。不妨，先假设只有2个参数，即：
$$\begin{array}{l}z=w_1{x}_1+w_2{x}_2+b\\ \hat{y}=a=\sigma (z)\\ L(a,y)=-(y\log a+(1-y)\log (1-a))\end{array}$$根据链式求导法则有：$$\frac{\partial L}{\partial w_1}=\frac{\partial L}{\partial a}\cdot \frac{\partial a}{\partial z}\cdot \frac{\partial z}{\partial w_1}$$其中：
$$\begin{gathered} \frac{\partial L}{\partial a}=\frac{\partial [-(y\log a+(1-y)\log (1-a))]}{\partial a}=\frac{\partial -y\log a}{\partial a}+\frac{\partial -(1-y)\log (1-a))}{\partial a}=\frac{-y}{a}+\frac{-(1-y)\times (-1)}{1-a}=\frac{1-y}{1-a}-\frac{y}{a} \\ \frac{\partial a}{\partial z}=\frac{\partial (\frac{1}{1+e^{-z}})}{\partial z}=\frac{(-1)\times e^{-z}\times (-1)}{(1+e^{-z}{)}^2}=\frac{1}{1+e^{-z}}\times \frac{e^{-z}}{1+e^{-z}}=\frac{1}{1+e^{-z}}\times (1-\frac{1}{1+e^{-z}})=a(1-a) \end{gathered}$$所以：
$$\begin{gathered} \frac{\partial L}{\partial w_1}=(\frac{1-y}{1-a}-\frac{y}{a})a(1-a)\frac{\partial z}{\partial w_1}=(a-y)x_1 \\ \frac{\partial L}{\partial w_2}=(\frac{1-y}{1-a}-\frac{y}{a})a(1-a)\frac{\partial z}{\partial w_2}=(a-y)x_2 \\ \frac{\partial L}{\partial b}=(\frac{1-y}{1-a}-\frac{y}{a})a(1-a)\frac{\partial z}{\partial b}=a-y \end{gathered}$$同样当有$m$个样本的时候，梯度表示为：$$\frac{\partial J}{\partial w_n}=\frac{1}{m}\sum _{i=1}^m\frac{\partial L}{\partial w_{n,i}}$$这样，使用梯度下降的伪代码为：

J = 0;dw1 = 0;dw2 = 0;db = 0;  % 初始化
for i =1 to m:
	z(i) = wTx(i)+b; 
	a(i) = sigmoid(z(i)); % 计算估计的标签
	J += -(y(i)log(a(i))+(1-y(i))log(1-a(i))); %损失函数
	dw1 += (a(i)-y(i))*x1(i);  % 计算梯度
	dw2 += (a(i)-y(i))*x2(i);
	db += (a(i)-y(i));
end
J /= m;
dw1 / = m;
dw2 / = m;
db /= m;
w1 = w1 - alpha * dw1;  % 使用梯度下降更新参数
w2 = w2 - alpha * dw2;
b = b - alpha * b;

通过以上过程，就使用所有的参数更新了一次参数，经过多次参数更新就优化了模型。在上面的代码中，使用$d{w}_1=\partial J/\partial w_1,d{w}_2=\partial J/\partial w_2,db=\partial J/\partial b$，如果有更多的参数，用这样的方法更新他们就好了。

向量化

使用for循环的效率比较低，使用向量化的计算有助于大大提高计算效率。看一个例子：

import numpy as np
import datetime

a = np.random.rand(1000000)
b = np.random.rand(1000000)
tic = datetime.datetime.now()
c = np.dot(a, b)  # 使用np.dot向量化计算
toc = datetime.datetime.now()
print(c)
print('向量化的Time Cost:', toc - tic)
tic = datetime.datetime.now()
c = 0
for i in range(1000000):
    c += a[i] * b[i]  # 使用for循环计算
toc = datetime.datetime.now()
print(c)
print('非向量化的Time Cost:', toc - tic)

结果为：

249934.26780889684
向量化的Time Cost: 0:00:00.000936
249934.26780889346
非向量化的Time Cost: 0:00:00.304249

使用向量化的操作，提高了大概300倍的效率。在numpy中常见的向量化操作函数还有np.abs，np.log,np.exp,np.maxium等。
那么使用向量化的操作对逻辑回归进行优化：

J = 0;dw = np.zeros((n,1));db = 0;  % 初始化
for i =1 to m:
	z(i) = wTx(i)+b; 
	a(i) = sigmoid(z(i)); % 计算估计的标签
	J += -(y(i)log(a(i))+(1-y(i))log(1-a(i))); %损失函数
	dw += (a(i)-y(i))*x(i);  % 计算梯度
	db += (a(i)-y(i));
end
J /= m;
dw /= m;
db /= m;
w = w - alpha * dw;  % 使用梯度下降更新参数
b = b - alpha * b;

这里还是有for i =1 to m这一层显示的循环。在上面的表达式中$x^{(i)}=[x_1^{(i)},x_2^{(i)},x_3^{(i)}{]}^T$为一个列向量$(3\times 1)$，那么如果横向堆叠为一个矩阵的话，就可以没有显示的for循环了。
$$\mathbf{x}=\left[\begin{array}{cccc}{x}_1^{(1)}& x_1^{(2)}& x_1^{(3)}& x_1^{(4)}\\ x_2^{(1)}& x_2^{(2)}& x_2^{(3)}& x_2^{(4)}\\ x_3^{(1)}& x_3^{(2)}& x_3^{(3)}& x_3^{(4)}\end{array}\right]$$$\mathbf{x}\in {\mathbb{R}}^{3\times 4}$，一个样本有3个特征点，一共有4个样本的话，所有的数据点就可以表达为上式。那么$\mathbf{w}=[w_1,w_2,w_3]$的话，$\mathbf{b}=[b,b,b,b]$，就有$\mathbf{z}=\mathbf{w}\mathbf{x}+\mathbf{b}$就是所有的样本的计算值。来看$\mathbf{w}$是$1\times 3$维的，$\mathbf{x}$是$3\times 4$维，乘积的结果为$1\times 4$，加上$1\times 4$维的$\mathbf{b}$后就是$1\times 4$维的$\mathbf{z}$。表达为python代码为z = np.dot(w,x)+b,因为这里的$w$是行向量，由于部分写法是把$w$写为列向量，所以可能会有z = np.dot(w.T,x)+b的写法，结果一样的。
有$m$个样本时候，有实际标签$Y=[y^{(1)},y^{(2)},...,y^{(m)}]$，计算标签$A=[a^{(1)},a^{(2)},...,a^{(m)}]$，由于$d{z}^{(i)}=\partial J/\partial z^{(i)}=a^{(i)}-y^{(i)}$，所以有$dZ=[d{z}^{(1)},d{z}^{(2)},...,d{z}^{(m)}]=[a^{(1)}-y^{(1)},a^{(2)}-y^{(2)},...,a^{(m)}-y^{(m)}]=A-Y$。
$m$个样本的$w$的梯度可以表示为：
$$\begin{gathered} \frac{\partial J}{\partial w}=\frac{1}{m}\sum _{i=1}^m\frac{\partial L}{\partial w}=\frac{1}{m}\sum _{i=1}^m(a^{(i)}-y^{(i)}){\mathbf{x}}^{(i)}=\frac{1}{m}dZ\mathbf{x} \\ \frac{\partial J}{\partial b}=\frac{1}{m}\sum _{i=1}^m\frac{\partial L}{\partial b}=\frac{1}{m}\sum _{i=1}^m(a^{(i)}-y^{(i)})=\frac{1}{m}dZ \end{gathered}$$使用python代码表示即为：

dw = np.dot(X,dZ.T) / m
db = np.sum(dZ) / m

实现逻辑回归一次循环的整体代码为：

Z = np.dot(w.T,x) + b
A = sigmoid(Z)
dw = np.dot(X,(A-Y).T) / m
db = np.sum(A-Y) / m
w = w - alpha * dw;  % 使用梯度下降更新参数
b = b - alpha * b;

补充：广播

python numpy中使用矩阵进行操作时候，并不需要矩阵的维度是一致的，如果第一个矩阵为$m\times n$维的，第二个是$1\times n$维的，就会把第二个填充为$m\times n$维的再进行相应操作，哪怕第二个矩阵是$1\times 1$维的，也就是一个数，也会按照行列补齐后进行运算，这就是广播机制。
$$\begin{array}{l}matri{x}_{m\times n}+-\times ÷matri{x}_{(1,n)}-->matri{x}_{(m,n)}\\ matri{x}_{m\times n}+-\times ÷matri{x}_{(1,n)}-->matri{x}_{(m,n)}\\ matri{x}_{m\times n}+-\times ÷matri{x}_{(m,1)}-->matri{x}_{(m,n)}\\ matri{x}_{m\times n}+-\times ÷matri{x}_{(m,1)}-->matri{x}_{(m,n)}\\ matri{x}_{m\times n}+-\times ÷matri{x}_{(1,1)}-->matri{x}_{(m,n)}\end{array}$$

代码实现

第二周 神经网络基础-1逻辑回归.rar

浅层神经网络

在神经网络基础中的逻辑回归可以看成是只有一层的神经网络。那么先构造一个只有2层的浅层神经网络为：

输入层$x$，隐藏层L1，输出层L2。先规定表达式的写法，输入层$x=a^{[0]}$，隐藏层输出为$a^{[1]}$，有计算$z^{[1]}=w^{[1]T}x+b^{[1]}$和$a^{[1]}=sigmoid(z^{[1]})$，隐藏层的输出$a^{[1]}$作为输出层的输入，有计算$z^{[2]}=w^{[2]T}{a}^{[1]}+b^{[2]}$和$a^{[2]}=sigmoid(z^{[2]})$，输出层最终输出为$a^{[2]}$。参数$x^{[m]}$的上标$[m]$代表为第$m$层。而$a_n^{[m]}$的下标表示第$n$个节点，$a_n^{[m]}$就表示了第$m$层的第$n$个节点的输出。为了表示区分，现在假设每个样本有3个特征，隐藏层有4个节点。每个节点都可以表示为一个逻辑回归，就有：
$$\begin{gathered} z_1^{[1]}=w_1^{[1]T}x+b_1^{[1]},a_1^{[1]}=\sigma (z_1^{[1]}) \\ {z}_2^{[1]}=w_2^{[1]T}x+b_2^{[1]},a_2^{[1]}=\sigma (z_2^{[1]}) \\ {z}_3^{[1]}=w_3^{[1]T}x+b_3^{[1]},a_3^{[1]}=\sigma (z_3^{[1]}) \\ {z}_4^{[1]}=w_4^{[1]T}x+b_4^{[1]},a_4^{[1]}=\sigma (z_4^{[1]}) \end{gathered}$$这里$w_n^{[1]}$是一个列向量，维度为$3\times 1$，$w_n^{[1]T}$就是维度为$1\times 3$的行向量，把4个的$w_n^{[1]T}$向下堆叠，就是$4\times 3$维的${\mathbf{W}}^{[1]}$矩阵。输入层为$\mathbf{x}=[x_1,x_2,x_3{]}^T$的列向量，维度为$3\times 1$，偏置项${\mathbf{b}}^{[1]}=[b_1^{[1]},b_2^{[1]},b_3^{[1]},b_4^{[1]}{]}^T$的$4\times 1$列向量，所以就有：
$$\begin{gathered} {\mathbf{Z}}^{[1]}={\mathbf{W}}^{[1]}\mathbf{x}+{\mathbf{b}}^{[1]} \\ {\mathbf{a}}^{[1]}=\sigma ({\mathbf{Z}}^{[1]}) \end{gathered}$$同理，由于隐藏层的输出就是输出层的输入，所以只需要把输出层的输入$\mathbf{x}$替换为${\mathbf{A}}^{[1]}$即可，就有2层的神经网络的表示为：
$$\begin{gathered} {\mathbf{z}}^{[1]}={\mathbf{W}}^{[1]}\mathbf{x}+{\mathbf{b}}^{[1]} \\ {\mathbf{a}}^{[1]}=\sigma ({\mathbf{z}}^{[1]}) \\ {\mathbf{z}}^{[2]}={\mathbf{W}}^{[2]}{\mathbf{a}}^{[1]}+{\mathbf{b}}^{[2]} \\ {\mathbf{a}}^{[2]}=\sigma ({\mathbf{z}}^{[2]}) \end{gathered}$$在上式中，输入$\mathbf{x}=[x_1,x_2,x_3{]}^T$是一个样本，有$m$个样本的话，就把输入横向堆叠为维度为$3\times m$的矩阵，与$4\times 3$维的${\mathbf{W}}^{[1]}$的乘积为$4\times m$维的，加上$4\times 1$列向量的偏置项${\mathbf{b}}^{[1]}=[b_1^{[1]},b_2^{[1]},b_3^{[1]},b_4^{[1]}{]}^T$得到的是$4\times m$维的$\mathbf{Z}$，以及$4\times m$的$\mathbf{A}=\sigma (\mathbf{Z})$。多个样本的表示方法为：$$\begin{gathered} {\mathbf{Z}}^{[1]}={\mathbf{W}}^{[1]}\mathbf{x}+{\mathbf{b}}^{[1]} \\ {\mathbf{A}}^{[1]}=\sigma ({\mathbf{Z}}^{[1]}) \\ {\mathbf{Z}}^{[2]}={\mathbf{W}}^{[2]}{\mathbf{A}}^{[1]}+{\mathbf{b}}^{[2]} \\ {\mathbf{A}}^{[2]}=\sigma ({\mathbf{Z}}^{[2]}) \end{gathered}$$

激活函数

在逻辑回归中使用了sigmoid函数作为激活函数，但是由于当sigmoid函数的输入绝对值比较大时候，函数值变化比较小，但是我们的目标就是让函数值趋近于1或者0，这时候的输入值肯定较大，所以函数值的变化量就变小了，这就是梯度消失问题。除非在处理二分类问题，否则一般较少使用$\sigma$激活函数。
除了使用$g(z)=\sigma (z)$函数意外，还有常见的激活函数为tanh函数（也不是常用的）：
$$g(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$常用的为ReLu函数，即为修正线性函数：$g(z)=max(0,z)$，在输入大于0时候，就是输入，在输入小于零时候为0。或者泄露ReLu函数：$g(z)=max(0.01z,z)$。
那为什么要使用激活函数，而不是直接使用$z=wx+b$的z作为这一层的输出？
假设就使用$z=wx+b$作为计算，那么$z^{[1]}=w^{[1]}x+b^{[1]}$的$z^{[1]}$作为了第二层的输入，有$z^{[2]}=w^{[2]}{z}^{[1]}+b^{[2]}$，所以：$z^{[2]}=w^{[2]}{z}^{[1]}+b^{[2]}=w^{[2]}(w^{[1]}x+b^{[1]})+b^{[2]}=w^{[2]}{w}^{[1]}x+w^{[2]}{b}^{[1]}+b^{[2]}=w^{\prime }x+b^{\prime }$，其实就是一层，并没有体现出多层结果出来。
计算一下激活函数的导数，$a=\sigma (x)$的导数${\sigma }^{\prime }(x)=a(1-a)$，$a=tanh(x)$的导数为$tan{h}^{\prime }(x)=1-a^2$，都可以使用求导公式比较方便获得。对于ReLU函数，在0点是不可导的，可以直接对0点的导数值进行赋值。$$g^{\prime }(z)=\{\begin{array}{ll}1,& \text{if z > 0}\\ 0,& \text{if z <= 0}\end{array}$$

浅层网络梯度下降法的推导

在一个两层的神经网络中反向传播计算就是相当于把逻辑回归中的反向传播计算两遍。在下图中，需要不断优化迭代的参数有$W^{[1]},W^{[2]},b^{[1]},b^{[2]}$，使得$J(W^{[1]},W^{[2]},b^{[1]},b^{[2]})$最小，而$$J(W^{[1]},W^{[2]},b^{[1]},b^{[2]})=\frac{1}{m}\sum _{i=1}^{m}L(\hat{y},y)$$
在逻辑回归中已经计算获得了
$$\begin{gathered} \frac{\partial J}{\partial w}=\frac{1}{m}\sum _{i=1}^m\frac{\partial L}{\partial w}=\frac{1}{m}\sum _{i=1}^m(a^{(i)}-y^{(i)}){\mathbf{x}}^{(i)}=\frac{1}{m}dZ\mathbf{x} \\ \frac{\partial J}{\partial b}=\frac{1}{m}\sum _{i=1}^m\frac{\partial L}{\partial b}=\frac{1}{m}\sum _{i=1}^m(a^{(i)}-y^{(i)})=\frac{1}{m}dZ \end{gathered}$$也就可以直接得到了（这里默认了$a^{[2]}$层的激活函数为sigmoid函数）：$$\begin{gathered} d{W}^{[2]}=\frac{\partial J}{\partial W^{[2]}}=\frac{1}{m}\sum _{i=1}^m\frac{\partial L}{\partial W^{[2]}}=\frac{1}{m}\sum _{i=1}^m(a^{[2](i)}-y^{(i)}){\mathbf{a}}^{[1](i)}=\frac{1}{m}({\mathbf{A}}^{[2]}-\mathbf{Y}){\mathbf{A}}^{[1]T} \\ \frac{\partial J}{\partial b^{[2]}}=\frac{1}{m}\sum _{i=1}^m\frac{\partial L}{\partial b^{[2]}}=\frac{1}{m}\sum _{i=1}^m(a^{[2](i)}-y^{(i)})=\frac{1}{m}({\mathbf{A}}^{[2]}-\mathbf{Y})(水平相加求和) \end{gathered}$$同时在逻辑回归中，$$dz=\frac{\partial L}{\partial z}=\frac{\partial L}{\partial a}\cdot \frac{\partial a}{\partial z}=a-y$$所以，$d{z}^{[2]}=\partial L/\partial z^{[2]}=a^{[2]}-y$，同样的，根据链式求导法则：$$d{z}^{[1]}=\frac{\partial L}{\partial z^{[2]}}\cdot \frac{\partial z^{[2]}}{\partial a^{[1]}}\cdot \frac{\partial a^{[1]}}{\partial z^{[1]}}=d{z}^{[2]}{W}^{[2]}{g}^{\prime [1]}(z^{[1]})$$这是一个样本，当有多个样本时候，可以表示为（$\ast$表示每个对应元素相乘）$$d{Z}^{[1]}=W^{[2]T}d{Z}^{[2]}\ast g^{\prime [1]}(z^{[1]})$$所以$$\begin{gathered} d{W}^{[1]}=\frac{\partial J}{\partial W^{[1]}}=\frac{1}{m}d{Z}^{[1]}{X}^T \\ d{b}^{[1]}=\frac{\partial J}{\partial b^{[1]}}=\frac{1}{m}d{Z}^{[1]}(水平相加求和) \end{gathered}$$

代码实现

第三周浅层神经网络

深度神经网络

通过浅层神经网络已经了解了包含1个隐藏层的神经网络是怎样的结构以及如何向前向后传播，深度神经网络就是在浅层神经网络的基础上继续添加隐藏层获得的深度的结构，即为多隐藏层的逻辑回归。例如下图的结构即为包含了4个隐藏层的5层神经网络结构：

按照浅层神经网络的符号定义，输入$a^{[0]}=x=[x_1,x_2{]}^T$为$2\times 1$的列向量，输出（即$a^{[1]}$）为$3\times 1$的，所以$W^{[1]}$是$3\times 2$ 维的，$b^{[1]}$为$3\times 1$维。同理，$W^{[2]}$是$5\times 3$ 维的，$b^{[2]}$为$5\times 1$维…$W^{[l]}$是$n_l\times n_{l-1}$ 维的，$b^{[2]}$为$n_l\times 1$维。$n_l$表示当前层的节点个数。这是一个样本的情况，当有$m$个样本时候（输入为列向量向后堆叠），$W^{[l]}$是$n_l\times n_{l-1}$ 维的，$b^{[2]}$为$n_l\times m$维。

	**Shape of W**	**Shape of b**	**Activation**	**Shape of Activation**
**Layer 1**	$(n^{[1]},12288)$	$(n^{[1]},1)$	$Z^{[1]} = W^{[1]} X + b^{[1]} $	$(n^{[1]},209)$
**Layer 2**	$(n^{[2]}, n^{[1]})$	$(n^{[2]},1)$	$Z^{[2]} = W^{[2]} A^{[1]} + b^{[2]}$	$(n^{[2]}, 209)$
$\vdots$	$\vdots$	$\vdots$	$\vdots$	$\vdots$
**Layer L-1**	$(n^{[L-1]}, n^{[L-2]})$	$(n^{[L-1]}, 1)$	$Z^{[L-1]} = W^{[L-1]} A^{[L-2]} + b^{[L-1]}$	$(n^{[L-1]}, 209)$
**Layer L**	$(n^{[L]}, n^{[L-1]})$	$(n^{[L]}, 1)$	$Z^{[L]} = W^{[L]} A^{[L-1]} + b^{[L]}$	$(n^{[L]}, 209)$

计算流程

对于其中一层来讲，假设为$l$层，向前传播时，输入为$a^{[l-1]}$，输出为$z^{[l]}=W^{[l]}{a}^{[l-1]}+b^{[l]}$，$a^{[l]}=g^{[l]}(z^{[l]})$，$g^{[l]}$为第$l$层的激活函数，为了简化后续计算，将$z^{[l]}$缓存下来。向后传播时候，输入为$d{a}^{[l]}$，输出为$d{a}^{[l-1]}$，同时计算$d{W}^{[l]}$和$d{b}^{[l]}$用于更新参数值。

在第$l$层的向前计算中使用的公式为：$$\begin{gathered} z^{[l]}=W^{[l]}{a}^{[l-1]}+b^{[l]} \\ {a}^{[l]}=g^{[l]}(z^{[l]}) \end{gathered}$$根据链式求导公式，有$$\begin{gathered} d{z}^{[l]}=d{a}^{[l]}\ast g^{[l{]}^{\prime }}(z^{[l]}) \\ d{W}^{[l]}=d{z}^{[l]}{a}^{[l-1]} \\ d{b}^{[l]}=d{z}^{[l]} \\ d{a}^{[l-1]}=W^{[l]T}d{z}^{[l]} \end{gathered}$$向量化表示为：$$\begin{gathered} d{Z}^{[l]}=d{A}^{[l]}\ast g^{[l{]}^{\prime }}(Z^{[l]}) \\ d{W}^{[l]}=\frac{1}{m}d{Z}^{[l]}{A}^{[l-1]T} \\ d{b}^{[l]}=\frac{1}{m}np.sum(d{Z}^{[l]},axis=1) \\ d{A}^{[l-1]}=W^{[l]T}d{A}^{[l]} \\ d{Z}^{[l-1]}=d{W}^{[l]T}d{Z}^{[l]}{g}^{[l{]}^{\prime }}(Z^{[l-1]}) \end{gathered}$$

---

1. 网易公开课，神经网络和深度学习，https://mooc.study.163.com/smartSpec/detail/1001319001.htm ↩︎