DenseNet论文笔记

1 简介

本文依据2018年《Densely Connected Convolutional Networks》翻译总结。

Dense Convolutional Network (DenseNet)。说是比ResNet参数更少，效果却更好。

最主要的特点，如下图，每一层的输入是前面所有层输出的feature map。

DenseNet有如下好处：

1. 缓解梯度消失问题；
2. 增强特征传递；
3. 有利于特征的重用；
4. 减少参数数量。

2 相关工作

Highway Network使用gating units的bypassing path。

3 DenseNets

3.1 Dense connectivity

如前所述，第l层接收前面所有层的feature-maps。公式如下：

3.2 复合函数 H

上一节的H函数，包括3个连续操作：batch normalization、ReLU、3*3 conv。

3.3 Pooling layer –Block之间连接transition

不同block之间的特征map大小不同。通过transition层连接，包括1个BN、一个11卷积层、22 average pooling 层。

3.4 Growth rate –k

H函数产生k个feature-maps。第l层有k0+k*（l-1）的输入feature-maps。其中k0代表channel的数量。

3.5 DenseNet-B

每个层输出k个feature-maps，有点多，可以在输出前加BN-ReLU-11conv,即通过11conv减少输入feature-maps数量。当H函数是 BN-ReLU-Conv(11)-BN-ReLU-Conv(33) ,叫做 DenseNet-B。

3.6 DenseNet-C

在transition层，引入参数θ<1, 压缩模型，减少feature-maps数量。

3.7 完整的模型如下所示：

4 实验结果

可以看到DenseNet需要较少的参数取得很好的结果（较低的错误率）。

4.1 DenseNet与ResNet对比