11 经典卷积神经网络 - 卷积神经网络 [Deep Learning Specialization系列]

本文是Deep Learning Specialization系列课程的第4课《Convolutional Neural Networks》中Cases studies部分的学习笔记。

首先是为什么要做案例分析？主要是两个方面：

1. 可以从别人的案例中得到直观的理解，就像看别人的代码一样
2. 别人的案例可以借鉴过来应用在自己的项目中

下面就以一些经典的神经网络来做一些分析：

• LeNet
• AlexNet
• VGG
• ResNet
• GoogLeNet

LeNet

LeNet是一个5层神经网络，是1998年由Y. Lecun 等人在《Gradient-based learning applied to document recognition》提出，用于进行手写数字识别的网络。
该网络是由两个卷积神经网络、两个全连接层网络和一个输出层组成，其特点是输入网络的Height和Width是一直在减少，而通道数是一直在增加的。该网络使用的是Sigmoid激活函数，最终的参数个数是60k左右。

AlexNet

AlexNet是一个7层的神经网络，是2012年由A Krizhevsky等人在《ImageNet Classification with Deep Convolutional Neural Networks》提出。
AlexNet比LeNet神经网络要大很多，叠加了多个卷积层和池化层，在全连接层用的是ReLU激活函数，总共包含60M个参数。

VGG

VGG是一个16层的神经网络，是2015年由Karen Simonyan和Andrew Zisserman在《Very Deep Convolutional Networks for Large-Scale Image Recognition》提出。
VGG网络在卷积运算和池化运算时使用的参数都是一样的，卷积运算是使用的$3\ast 3$的滤波、步长为1并保持宽高不变，池化的滤波是$2\ast 2$、步长为2。VGG网络相当的大，大约有138M个参数。