十五天掌握CNN——DenseNet SeNet

CNN性能演进历程

DenseNet

1. Dense Convolutional Network是一种具有密集连接的CNN。
2. 网络结构中任意两层间都存在直接连接。每一层的输入都是前面所有层输出的并集。
3. 每层学习的特征图会被直接传给后面所有层作为输入。
4. 不同dense block之间没有dense connectivity。都是存在于每个个体之内。
5. 优点：缓解梯度消失，加强特征传播，增加特征复用，极大减少参数量。
6. DenseNet的dense block结构：BN-ReLU-Conv(1×1) -> BN-ReLU-Conv(3×3)。且具有多个类似的block结构。
7. dense block之间的层称 transition layer，由BN-Conv(1×1) - 平均池化(2×2)组成。
   

SeNet

1. Squeeze-and-Excitation Networks——2017年图像网络分类任务冠军。
2. 核心思想：挤压Squeeze 激励Excitation 两操作。
3. 主要目的：通过显示得到的构建特征通道之间的相互依赖关系，采用特征重定向策略，通过学习方式自动获取每个特征通道的重要程度，再依据重要程度提升有用特征、抑制无用特征。

SE Block

特征压缩操作

1. 将每个feature map的特征数据使用全局average pooling转换为一个实数。实数在一定程度上具备全局感受野作用。
2. 压缩操作的输出表示：在特征通道上响应的全局分布，使得靠近输入层的结构也可以获得全局感受野的信息。

特征激励操作

1. 主要目的：为了显示构建的特征通道之间的相关性。
2. 引入两FC层，限制模型复杂度、辅助增加泛化能力。
3. 经过第一个FC层，将输入的1×1×c的特征图降维成1×1× c / r；经过一个ReLU后，经过第二个FC层升维，转换为1×1×c；再做sigmoid转换得到权重值。r参考值16.

使用FC

1. 主要目的：降低通道间的相关性。
2. 使用两个FC层弃用一个FC层的好处：具有更多非线性组合，更好拟合通道间复杂的相关性；极大减少参数量和计算量。

ReWeight操作

1. 将激励输出的权重看作经过特征选择后的每个特征通道的重要程度，再通过乘每个通道的加权到之前特征，完成通道维度上对原始特征的重标定。
   
   SE Block可以嵌入到任何网络结构，形成特有的SE结构。