Coursera deeplearning.ai 深度学习笔记4-2-Deep Convolutional Models Case Studies-深度卷积模型案例及代码实现

1 深度卷积神经网络案例研究

1.1 LeNet-5

LeNet-5是1998年针对灰度图像训练的而提出的模型。假设有一张32 × 32 × 1的图片，LeNet-5可以识别图片中的手写数字，模型如下。

该模型没有使用padding和ReLU函数，不过Conv -> Pool -> Conv -> Pool -> FC -> FC -> Output这种结构当前仍然使用较多。

1.2 AlexNet

AlexNet使用了ReUL函数，模型如下。

1.3 VGG-16

VGG-16的网络结构比较简单，仅使用一种卷积层和池化层，卷积层参数为3 × 3、s = 1、same，池化层参数为2 × 2、s = 2，缺点在于参数较多。模型如下。

1.4 残差网络ResNets

首先先了解残差块(Residual Block)。对于如下模型：

正向传播通常如下计算：
$\begin{array}{l}{z^{\left[ {l + 1} \right]}} = {W^{\left[ {l + 1} \right]}}{a^{\left[ l \right]}} + {b^{\left[ {l + 1} \right]}}\to {a^{\left[ {l + 1} \right]}} = g\left( {{z^{\left[ {l + 1} \right]}}} \right)\\ \to {z^{\left[ {l + 2} \right]}} = {W^{\left[ {l + 2} \right]}}{a^{\left[ {l + 1} \right]}} + {b^{\left[ {l + 2} \right]}} \to{a^{\left[ {l + 2} \right]}} = g\left( {{z^{\left[ {l + 2} \right]}}} \right)\end{array}\tag{1}$
而在残差网络中，增加了一条将a^[l]连接到a^{[l + 2]}的捷径(Short Cut)，从而产生了一个残差块，这个操作也称作跳跃连接(Skip Connection)：

那么残差网络的正向传播如下计算：
$\begin{array}{l}{z^{\left[ {l + 1} \right]}} = {W^{\left[ {l + 1} \right]}}{a^{\left[ l \right]}} + {b^{\left[ {l + 1} \right]}}\to {a^{\left[ {l + 1} \right]}} = g\left( {{z^{\left[ {l + 1} \right]}}} \right)\\ \to {z^{\left[ {l + 2} \right]}} = {W^{\left[ {l + 2} \right]}}{a^{\left[ {l + 1} \right]}} + {b^{\left[ {l + 2}\right]}} \to {a^{\left[ {l + 2} \right]}} = g\left( {{z^{\left[ {l + 2} \right]}}{\rm{ + }}{a^{\left[ l\right]}}} \right)\end{array}\tag{2}$
对于如下的网络，每两层增加一个捷径，从而形成了5个残差块，构成了残差网络。

对于通常的神经网络，理论上，层数越多，训练误差会越小；不过实际上，层数越多，意味着用优化算法训练越难，因此训练误差也会有所增加；而对于残差网络，即使层数很大，训练误差仍然会降低。因此，残差网络有利于训练更深的神经网络。

假如采用ReLU函数，可以得到：
${a^{\left[ {l + 2} \right]}} = g\left( {{W^{\left[ {l + 2} \right]}}{a^{\left[ {l + 1} \right]}} + {b^{\left[ {l + 2} \right]}}{\rm{ + }}{a^{\left[ l \right]}}} \right)\tag{3}$
对于式中第一项为0的情况下，可以得到：
${a^{\left[ {l + 2} \right]}} = g\left( {{a^{\left[ l \right]}}} \right) = {a^{\left[ l \right]}}\tag{4}$
因此，增加两层残差网络不会使网络的性能下降，而且可以解决反向传播的梯度消失或梯度爆炸问题。
需要注意，如果a^[l]和a^{[l + 2]}的维度不一样，需要增加一个参数W_s如下：
${a^{\left[ {l + 2} \right]}} = g\left( {{W^{\left[ {l + 2} \right]}}{a^{\left[ {l + 1} \right]}} + {b^{\left[ {l + 2} \right]}} + {W_s}{a^{\left[ l \right]}}} \right)\tag{5}$
对于卷积神经网络，添加残差块的模型如下：

1.5 网络中的网络和1 × 1卷积

1 × 1卷积也称作网络中的网络(Network in Network)，如果输入矩阵的信道较多，可以采用1 × 1卷积对其信道进行压缩，而不会改变输入矩阵的高和宽，如下：

对于如下的计算，总共需要计算(28 × 28 × 32) × (5 × 5 × 192) = 1.2亿次乘法。

而先采用1 × 1卷积，然后同样计算，只需要计算(28 × 28 × 16) × (1 × 1 × 192) + (28 × 28 × 32) × (5 × 5 × 16) = 0.12亿次乘法，可见，使用1 × 1卷积明显降低了运算成本。该层也称作瓶颈层(Bottleneck Layer)。

1.6 Inception网络

Inception网络的思想是不需要人为决定使用哪个滤波器，或者是否使用池化层，而是由网络自己选择参数，给网络添加所有可能的滤波器参数，然后把这些输出堆叠起来，让网络自己学习需要的参数。

下图的网络中包含多个Inception块。

2 残差网络Keras代码实现

采用Keras训练和测试模型的流程如下：
(1) 建立模型：model = Model(inputs = X_input, outputs = X, name = ‘HappyModel’)；
(2) 编译模型：model.compile(optimizer = ‘adam’, loss = ‘binary_crossentropy’, metrics = [‘accuracy’])；
(3) 训练模型：model.fit(X_train, Y_train, batch_size = 16, epochs = 40)；
(4) 评估模型：preds = model.evaluate(X_test, Y_test)。

2.1 残差网络

很深的神经网络通常可以代表非常复杂的函数，能够学习很多复杂的特征。然而，采用很深的神经网络，容易出现梯度消失的问题，而残差网络就可以解决这个问题。根据输入与输出的维度是否相同，有两种残差网络。
当输入和输出维度相同时，采用如下的残差网络Identity block。

当输入和输出维度不相同时，采用如下的残差网络Convolutional block。

2.2 构建模型ResNet50

构建如下模型：

2.3 测试

对如下数据集进行测试：

得到如下结果，可以看出，20次迭代后，训练集误差98.9%，测试集误差93.3%。

此外，采用以下代码可以输出整个模型框架。


代码下载地址：https://gitee.com/tuzhen301/Coursera-deeplearning.ai4-2