吴恩达《深度学习》第四课第二周

2深度卷积网络——实例探究

学习目标：通过本课程的学习之后，可以阅读计算机视觉方面的论文，学习别人以取得的比较好的CNN架构。

2.1为什么要进行实例探究

1.学习一门技术最好的办法是学习别人如何应用。

经典的网络：

• LeNet-5
• AlexNet
• VGG

新型网络：

• ResNet ： 152层
• Inception

2.2经典网络

1.LeNet-5，6万个参数

2.AlexNet，6千万个参数

 

AlexNet的特点

• 与LeNet机构相似，但复杂很多，训练的参数达到6千万；
• 使用了Relu函数
• 多GPU处理，将各层数据分配到两个GPU进行处理；
• 增加了局部相应归一化层（local respond normalization，LRN） ，但算法起到的作用不大

3.VGG-16

这是一种只需要专注于构建卷积层的网络，CONV=3x3 filter, s=1, padding= same     MAX-POOLING = 2x2, s=2.

VGG的特点：

• 简化了神经网络结构，即机构很规整并不复杂（都是几个卷积层后跟一个可以缩小图像高度和宽度的池化层）
• 但是是一个非常深的结构，VGG-16包含16个卷积层/FC层，卷积层过滤器的个数存在一定的规律：64-128-256-512
• 1.38亿个参数，缺点之一
• 解释了图像大小和通道数量之间的某种关系

2.3残差网络：ResNet

1.残差块（residual block），ResNet的基本组成模块，使用残差块可以训练更深层次的网络，其基本过程是跳过一层或基层网络层，比如将a[l]直接传递到a[l+2],则a[l+2] = g(Z[l+2] + a[l])在这个公式里可看出多了一个a[l]块，这个块就称为残差块。