一些论文阅读总结,方便之后遗忘时迅速回顾
1 DenseNet
1.1 四大优点
-
缓解梯度消失
-
增强特征的传播
-
加强特征的reuse
-
减少了大量参数
1.2 Introduction
每一层都与loss funchtion直接相连
训练集较小时,有正则化效果
1.3 Related Work
主要受 Highway Networks和Resnets启发。
相比Resnets,Densenets采用了concatenate,提高了效率。
相比Inception,Densenets更加简单和高效。
1.4 主要结构
-
不同于Resnets的bypass,summation的形式可能会阻碍信息流的传播,故Dense connectivity采用了concatenating。
-
采用了Composite function,即每一层l的操作函数H(l)包括了BN、Rulu,Conv三个操作
-
因为卷积过程中必须有下采样层(降低size),所以在denseblock之间加入了transition layers,在文章的实验中一个transition layer由一个1x1conv和一个2x2avg pool组成。
-
如果每一个H(l)都产生k个特征图,那么每一层的输入将是 ,其中 代表此层的原始input。Densenet和其他网络结构不同的一个重点是,Densenet拥有非常狭窄紧致的层,Growth rate k相当于一个决定此层的global state的值。k值越大,即这一层contribute给global state的信息就越多。
-
因为concatenating的原因会造成通道仍然过高,使得出现Bottleneck的问题,所以在每个3x3卷积前加一个1x1卷积降低通道数
-
每个denseblock内作same conv,即卷积前作一个像素的zeropadding,使得3x3卷积后图片尺寸不变。
-
Compression ,即假设每个denseblock输出的feature map的数量是m,则每个transition layer输出的feature map的数量为am,其中0<a<1