《吴恩达深度学习》04卷积神经网络（第2周深度卷积网络：实例探究）

04.卷积神经网络

第2周 深度卷积网络：实例探究

2.1 为什么要进行实例探究？

1. 概述
   （1）经典网络
   LeNet-5
   AlexNet
   VGG
   （2）ResNet
   （3）Inception

2.2 经典网络

1. LeNet-5
   （1）针对灰度图像。
   （2）输入：$32\times 32\times 1$。
   （3）Conv1：$f=5,s=1$，6个过滤器，输出$28\times 28\times 6$。
   （4）Pool1：$f=2,s=2$，一般采用平均池化，输出$14\times 14\times 6$。
   （5）Conv2：$f=5,s=1$，16个过滤器，输出$10\times 10\times 16$。
   （6）Pool2：$f=2,s=2$，一般采用平均池化，输出$5\times 5\times 16$。
   （7）FC3：$120$
   （8）FC4：$84$
   
   （10）论文：LeCun et al. 1998. Gradient-based learning applied to document recognition。
2. AlexNet
   （1）输入：$227\times 227\times 3$。
   （2）Conv1：$f=11,s=4$，96个过滤器，输出KaTeX parse error: Undefined control sequence: \5 at position 9: 55\times\̲5̲5\times96。
   （3）Pool1：$f=3,s=2$，采用最大池化法。
   （4）Conv2：$f=5$，256个过滤器，采用相同卷积法，输出$27\times 27\times 256$。
   （5）Pool2：$f=3,s=2$，采用最大池化法，输出$13\times 13\times 256$。
   （6）Conv3：$f=3$，采用相同卷积法，输出$13\times 13\times 384$。
   
   （7）论文：Krizhevsky et al. 2012. ImageNet: classification with deep convolutional neural networks。
3. VGG-16
   （1）Conv=$3\times 3$过滤器，$s=1$，相同卷积
   （2）MAX-POOL=$2\times 2,s=2$
   （3）$[CONV64]\times 2$表示有两层卷积层，每层有64个卷积过滤器
   
   （4）论文：Simonyan & Zisserman 2015. Very deep convolutional networks for large-scale image recognition。
4. 论文阅读顺序建议：首先阅读AlexNet论文，然后是VGG论文，最后是LeNet。

2.3 残差网络

1. 残差模块
   （1）示意图
   
   （2）主路径
   $z^{[l+1]}=W^{[l+1]}{a}^{[l]}+b^{[l+1]}$
   $a^{[l+1]}=g(z^{[l+1]})$
   $z^{[l+2]}=W^{[l+2]}{a}^{[l+1]}+b^{[l+2]}$
   $a^{[l+2]}=g(z^{[l+2]})$
   （3）在主路径的基础上，对$a^{[l]}$增加捷径（也称为跳远连接），直接输入到深层中，形成残差。即在主路径中的第四行公式改为：
   $a^{[l+2]}=g(z^{[l+2]}+a^{[l]})$
2. 残差网络
   
3. 残差网络的作用：尽管理论上，随着深度神经网络层数的增加，对训练集的拟合误差应减少，但是实际上在下降到一定程度后，误差反而会上升，如下图所示：
   
   而残差网络不会出现这样的问题，其示意图如下所示：
   

2.4 残差网络为什么有用？

1. 残差网络为什么起作用？
2. ResNet
   

2.5 网络中的网络以及$1\times 1$卷积

1. $1\times 1$为什么起作用？
   Lin et al. 2013. Network in network。
2. 应用$1\times 1$卷积
   
3. 作用：根据需要，保持或压缩通道数量。

2.6 谷歌Inception网络简介

1. Inception网络的动机
   （1）代替人工确定过滤器的规模，或确定是否要使用卷积层、池化层。
   （2）不同条件下卷积、池化示意图
   
   （3）输入：$28\times 28\times 192$
   （4）输出：$28\times 28\times 256$
   （5）存在问题：计算成本
2. 以上一张图中$5\times 5$卷积叙述计算成本问题
   （1）卷积示意图
   
   （2）每个输出值需要计算$5\times 5\times 192$次乘法，共$28\times 28\times 32$个输出值，因此共需要进行乘法计算$28\times 28\times 32\times 5\times 5\times 192=120M$。计算成本过高。
   （3）解决方法：上一节中学到的$1\times 1$网络。
3. 使用$1\times 1$网络
   （1）网络结构示意图
   
   （2）中间层有时被称为瓶颈层（bottleneck layer）
   （3）计算成本分析：
   a. 输入到瓶颈层，$28\times 28\times 16\times 192=2.4M$
   b. 瓶颈层到输出层，$28\times 28\times 32\times 5\times 5\times 16=10.0M$

2.7 Inception网络

1. Inception模块
   （1）基本架构
   
2. Inception网络
   
   除Inception模块外，还增加了部分全连接层和softmax，防止网络过拟合。

2.8 使用开源的实现方案

1. 充分使用Github等开源网站

2.9 迁移学习

1. 迁移学习
   （1）问题假设：检测猫是否是tigger或mity或两者都不是。
   （2）下载ImageNet的相关网络及权重，然后删除最后的softmax层，增加新的softmax层。
   （3）仅需训练softmax层的参数（新数据集较小时），或训练softmax层及部分其它隐藏层（新数据集较大时，要训练的隐藏层应在后面），或将原始权重作为初始化然后全部网络进行训练（新数据集充分大时）。

2.10 数据扩充

1. 常见扩充方法
   （1）镜像操作
   
   （2）随机剪裁
   
   （3）旋转操作（不常用）
   （4）扭曲（不常用）
   （5）局部扭曲（不常用）
2. 颜色变换
   通常基于某种分布对RGB通道进行变换。
   
3. 训练中实现变形
   

2.11 计算机视觉现状

1. 数据VS手工
   （1）当数据量越大时，人们往往更倾向于更简单的算法，更少的手工设计。
2. 在基准测试集和竞赛中的建议
   （1）嵌入
   独立地训练若干神经网络，然后将输出平均
   （2）测试时采用Multi-crop
   测试时，在图片的多个版本中运行分类器并平均结果。10-crop举例如下：
   
3. 使用开源代码
   （1）使用文献中的网络结构。
   （2）使用开源实现。
   （3）使用预训练模型在数据集上调试。