吴恩达卷积神经网络——深度卷积网络：实例探究

经典网络

LeNet5

随着网络的加深，图像的高度和宽度在缩小，信道数量增加
池化后使用sigmoid函数

AlexNet

与LeNet相似，但大得多
使用ReLu函数

VGG-16

网络大，但结构并不复杂
图像缩小的比例和信道增加的比例是有规律的
64->128->256->521

残差网络

非常深的网络是很难训练的，因为存在梯度消失和梯度爆炸问题。
skip connection:可以从某一层获取激活函数，然后迅速反馈给另外一层甚至网络更深层。
利用skip connection训练ResNets。
ResNets是由残差块构成。

从a^ [l]到a^ [l+2]寻妖经过上图步骤，但还有一个捷径：

在线性激活函数之后，在ReLu激活函数之前

残差网络

如果使用一个标准优化算法训练一个普通网络，如果没有多余的残差，凭经验会发现，随着网络深度的增加，训练误差会先减小后的增大。但理论上，随着网络深度的增加，会训练的越来越好。
有了残差网络，即使网络再深，训练的表现却不错。

为什么残差网络有用？

假设一个大型神经网络输入为X，输出激活函数为a^ [l],如果想加深：

假设激活函数为：ReLu，则a^ [l+2]为：


a^ [l+2] = g(a^ [l])
起作用的原因：这些残差块学习恒等函数非常容易，不会降低效率，提升网络性能。

1*1卷积

1*1卷积所实现的功能是：遍历这36个单元格，计算作图32个数字和卷积核中32个数字的元素智能乘积，然后应用ReLu函数。
给NN增加了一个非线性函数，从而减小或保持输入层中信道不变。

Inception网络

作用：代替人工确定卷积层中卷积核的类型或确定是否需要创建卷积层或池化层。

Inception模块

输入为2828192
输入为2828256
基本思想：网络自行决定使用哪个卷积核或池化，给网络添加这些参数的所有可能值，然后把这些输入连接起来，让网络自己学习需要哪些参数，哪些卷积核组合。

计算成本：

28281925532 = 120M

28281921116+28281655*32=12.4M
计算成本大大降低
瓶颈设计合理
既可以缩小表示层规模又不会降低网络性能，从而大量节省的计算

Inception网络

在网络的最后基层通常是全连接，在它之后是哟个softmax层，做预测，这些分支就是通过隐藏层来做预测，事实上就是一个softmax层，它确保了即使是隐藏单元和中间层也参加了特征计算，它们也能做图像分类，他在Inception网络中起调整作用，并能防止网络过拟合。

迁移学习

将公共数据集的知识迁移到自己的问题上

数据扩充

垂直镜像对称
色彩变换
随机剪裁
旋转
剪切
局部弯曲