吴恩达深度学习笔记（四）week2深度卷积神经网络实例

---

吴恩达：通过学习经典网络对自己将来构建神经网络有启发性作用。

---

经典网络

• LetNet-5：主要特点是通道数增加，卷积核的尺寸下降，处理的是灰度图片。
  

• AlexNet:结构和LetNet-5相似，但是网络要大很多，处理的是彩色图片。
  

• VGG-16:卷积核和通道数都以一定规律变化，连接也不是卷积-池化-卷积的结构。
  

残差网络（Residual Networks，ResNets）

网络很深时易出现梯度下降和梯度消失，残差网络能有效的避免这个问题，残差网络就是跨层连接，构成残差块（Residual blocks）此时某些层的输入会加入跨层连接的神经元的输出，如下图所示。

理论上随着网络层数的增加，误差就会减少，但是实际上并不是这样，残差网络通常能到达理论上的效果。

为什么残差网络能比普通的网络表现好？如下图所示，当给原网络添加了两层，并添加了残差块时，新的网络输出为：

$$a^{[l+2]} = g(z^{[l+2]}+a^{[l]})=g(W^{[l+2]}a^{[l+1]}+b^{[l+2]}+a^{[l]})$$ 注意到若使用了L2正则化，则会对 $W^{[l+2]},b^{[l+2]}$ 压缩，一个极端的情况，若 $W^{[l+2]},b^{[l+2]}$ 都为 $0$则新的输出便为$g(a^{[l]})$即为 $a^{[l]}$(因为此时的激活函数为ReLU)，若增加的两层学得了一些新的特征则新网络要比原网络表现得更好（非严格证明，启发式理解）

网络中的网络及$1\times1$卷积

$1\times1$的卷积核能减少通道数，如下图所示：