DenseNet-阅读理解-笔记

论文:Densely Connected Convolutional Networks

翻译:-.-

理解参考:http://blog.csdn.net/u012938704/article/details/53468483
https://zhuanlan.zhihu.com/p/28859470
http://blog.csdn.net/u014380165/article/details/75142664

核心技术,创新点:
DenseBlock
在一个DenseBlock中,每一层的输入来自与前面所有层的输出.
从而达到有效利用feature,加强feature传递,减轻梯度消失的作用.从而使得网络的深度可以更加的深.

DenseBlock同时具有网络更窄,参数更少的特点
ResNet:$x_l=H_l(x_{l-1})+x_{l-1}$
DenseNet:$x_l=H_l([x_0,x_1,x_2......,x_{l-1}])$
完整的DenseNet结构图:

实际使用的每个layer的参数

Bottleneck Layer(BN layer)
即每个3x3的layer前的1x1layer,作用是减少输入的feature map数量(维度?)，既能降维减少计算量，又能融合各个通道的特征.
Transition Layer
每两个Dense Block之间的1x1layer即为Transition Layer,作用是降维

突出贡献:
建立了不同层之间的直接连接关系,充分的利用了每一步得到的feature,进一步减轻了梯度消失问题,使得网络可以非常非常深,同时精确度不会下降,减少输入的feature map数量，既能降维减少计算量，又能融合各个通道的特征