ResNet笔记

1、bottleneck
主要有两种：
1、卷积ReLu 卷积
2、先利用11卷积对输入特征进行降维，再利用33，再利用1*1
BN和全局平均池化

1. 网络较瘦，控制了参数数量

2. 存在明显层级，特征图个数逐层递进，保证输出特征表达能力

3. 使用了较少的池化层，大量使用降采样，提高传播效率

4. 没有使用Dropout，利用BN和全局平均池化进行正则化，加快了训练速度

网络加深 会出现模型退化
残差网有助于解决梯度消失和梯度爆炸问题，让我们在训练更深网络的同时，又能保证良好的性能。

shortcut Connections
在ResNet网络结构图中，shortcut connections就是identity mapping在网络结构图中的具体实现，也就是右侧弯曲的那条线。它既不会增加额外的更多的参数，也不会增加网络计算的复杂度。
Plain Networks（平原网络）
平原网络是作者对残差网络改进之前的简单堆叠多个layers的称呼，是和残差网络（Residual Networks）相对的一个概念。
Residual Mapping（残差映射）

DPN是ResNeXt和DenseNet的合体