论文阅读 HCGNet：《Gated Convolutional Networks with Hybrid Connectivity for Image Classification》

论文地址：https://arxiv.org/pdf/1908.09699.pdf

摘要

1. ResNet + DenseNet混合连接
2. 轻量级门结构

介绍

1. ResNet (He et al. 2016) 引入了残差连接来实现每个微块的输入和输出特征的添加。
2. DenseNet (Huang et al. 2017) 通过将跳过连接从添加更改为连接来保持密集连接。它们的特征聚合连接不仅可以鼓励特征重用，还可以缓解训练问题。
3. 密集连通性对特征挖掘和探索的影响更大，但存在一定的冗余，
4. 而残留连通性有助于通过参数共享机制进行有效的特征重用，从而导致冗余度低，但缺乏特征保留和探索的能力。
5. 我们开发了一种带有嵌套聚合的混合连接（图 1），它通过密集连接促进特征流，用于所有先例模块（图 1 中的蓝色链接）产生的输出的全局通道级联和局部元素添加的残差连接模块内（图 1 中的红色链接）。
   

我们设计这种模式的主要动机是减少密集连接的冗余。随着网络深度的线性增加，跳过连接的数量和所需参数以O（n2）的速率增长，其中n表示密集连接下堆叠模块的数量。同时，早期的多余特性（贡献很少）以二次方式转移到后续模块。因此，减少冗余的一个简单方法是直接减少模块数量，但这会削弱特征的表现力，进而降低性能。因此，我们开发了一个新的模块，通过嵌入剩余连通性来辅助局部模块中的特征学习。在实验上，我们提出的密集连接下的模块数量可以比密集块中的经典模块数量少得多，但不会牺牲性能。

为了进一步适应混合连接，我们实例化了基本模块：

1. 该模块包括一个挤压单元（图1中的单元1），用于将输入转换为紧凑的特征图，
2. 一个多尺度激发单元（图1中的单元2），用于通过多核卷积进一步提取多尺度特征。

众所周知，卷积在局部邻域中建立像素关系，这导致对长程依赖关系的建模无效。为了充分解决这个问题࿰