Inception-ResNet v2 学习笔记

1.背景知识

Inception系列网络

在卷积操作中，输出特征图上某一个位置，其是与所有的输入特征图是相连的，这是一种密集连接结构。GoogLeNet基于这样的理念：在深度网路中大部分的激活值是不必要的（为0），或者由于相关性是冗余。因此，最高效的深度网路架构应该是激活值之间是稀疏连接的，GoogLeNet设计了一种称为inception的模块，这个模块使用密集结构来近似一个稀疏的CNN。同时，GoogLeNet使用了不同大小的卷积核来抓取不同大小的感受野。
Inception模块使用了一种瓶颈层（实际上就是1x1卷积）来降低输入的通道数，从而降低计算量。
GoogLeNet的另外一个特殊设计是最后的卷积层后使用全局均值池化层替换了全连接层，所谓全局池化就是在整个2D特征图上取均值。这大大减少了模型的总参数量。

ResNet

随着网络深度增加，网络的准确度应该同步增加，当然要注意过拟合问题。但是网络深度增加的一个问题在于这些增加的层是参数更新的信号，因为梯度是从后向前传播的，增加网络深度后，比较靠前的层梯度会很小。这意味着这些层基本上学习停滞了，这就是梯度消失问题。深度网络的第二个问题在于网络退化，当网络更深时意味着参数空间更大，优化问题