1 简介
本文依据2018年《Densely Connected Convolutional Networks》翻译总结。
Dense Convolutional Network (DenseNet)。说是比ResNet参数更少,效果却更好。
最主要的特点,如下图,每一层的输入是前面所有层输出的feature map。
DenseNet有如下好处:
- 缓解梯度消失问题;
- 增强特征传递;
- 有利于特征的重用;
- 减少参数数量。
2 相关工作
Highway Network使用gating units的bypassing path。
3 DenseNets
3.1 Dense connectivity
如前所述,第l层接收前面所有层的feature-maps。公式如下:
3.2 复合函数 H
上一节的H函数,包括3个连续操作:batch normalization、ReLU、3*3 conv。
3.3 Pooling layer –Block之间连接transition
不同block之间的特征map大小不同。通过transition层连接,包括1个BN、一个11卷积层、22 average pooling 层。
3.4 Growth rate –k
H函数产生k个feature-maps。第l层有k0+k*(l-1)的输入feature-maps。其中k0代表channel的数量。
3.5 DenseNet-B
每个层输出k个feature-maps,有点多,可以在输出前加BN-ReLU-11conv,即通过11conv减少输入feature-maps数量。当H函数是 BN-ReLU-Conv(11)-BN-ReLU-Conv(33) ,叫做 DenseNet-B。
3.6 DenseNet-C
在transition层,引入参数θ<1, 压缩模型,减少feature-maps数量。
3.7 完整的模型如下所示:
4 实验结果
可以看到DenseNet需要较少的参数取得很好的结果(较低的错误率)。
4.1 DenseNet与ResNet对比