1、bottleneck
主要有两种:
1、卷积ReLu 卷积
2、先利用11卷积对输入特征进行降维,再利用33,再利用1*1
BN和全局平均池化
-
网络较瘦,控制了参数数量
-
存在明显层级,特征图个数逐层递进,保证输出特征表达能力
-
使用了较少的池化层,大量使用降采样,提高传播效率
-
没有使用Dropout,利用BN和全局平均池化进行正则化,加快了训练速度
网络加深 会出现模型退化
残差网有助于解决梯度消失和梯度爆炸问题,让我们在训练更深网络的同时,又能保证良好的性能。
shortcut Connections
在ResNet网络结构图中,shortcut connections就是identity mapping在网络结构图中的具体实现,也就是右侧弯曲的那条线。它既不会增加额外的更多的参数,也不会增加网络计算的复杂度。
Plain Networks(平原网络)
平原网络是作者对残差网络改进之前的简单堆叠多个layers的称呼,是和残差网络(Residual Networks)相对的一个概念。
Residual Mapping(残差映射)
DPN是ResNeXt和DenseNet的合体