吴恩达 深度学习第四课卷积神经网络 第二周深度卷积网络：实例探究

2.2 经典网络
1、LeNet-5：针对灰度图像，可以识别图片中的手写数字

在第一个FC中，有400个节点，每个节点有120个神经元；再从中抽取部分节点组成第二个FC。
回顾神经网络历史，会发现，过去人们使用sigmoid和tanh函数而不是Relu函数
2、AlexNet：

3、VGG-16：

要想详细了解这三个神经网络结构，可以参考：
[LeCun et al.,1998Gradient-based learning applied to document recognition]
[Krizhevsky et al.,2012.ImageNet classification with deep convolutional neural networks]
[Simonyan & Zisserman 2015.Very deep convolution networks for large-scale image recognition]

2.3 残差网络
残差网络（ResNets)由残差块(Residural block)构建,

如图所示，原本一个普通的网络，紫色的那条线就是将一个残差块a[l]加入到第二个网络中了
这被称为远跳连接：a[l]跳过一层或几层，从而将信息传递到神经网络的更深层。
2.6 谷歌Inception网络简介
Inception网络的作用： 代替人工来确定卷积层中的过滤器类型或者确定是否需要创建卷积层或池化层。
如图所示，我们可以使用1×1 的卷积器来压缩通道数，减少计算量。

我们将想尝试的滤波器都输入，Inception网络会将它们全部连接起来，如下图所示：

2.10 数据扩充
可通过翻转、随机裁剪、旋转、剪切、局部弯曲、色彩转换来扩充数据集

PCA颜色增强：例如你的图片呈现紫色（R、B成分多），该算法就会对R和B增减的更多一点，使得总体颜色保持一致