论文阅读笔记---Densnet

Densnet

https://blog.csdn.net/Gentleman_Qin/article/details/84638700
与inception 的加宽网络结构以及ResNet的加深网络结构不同，DenseNet着重于对每一层feature maps的重复利用。在一个Dense block中，每一个卷积层的输入都是前几个卷积层输出的concatenation(拼接)，这样即每一次都结合了前面所得到的特征，来得到后续的特征。因此，相比其他结构成百上千的filter，DenseNet的宽度（12，24，40）可谓是非常窄了。而每一层对前几层特征的利用并不需要额外的参数，因此在参数量上也是得到了极大的减少 。但是，其显存占用率高的缺点也比较明显（因为concatenation，不过好在后续有了解决方法：（论文）Memory-Efficient Implementation of DenseNets）。

DenseNet优势：
（1）解决了深层网络的梯度消失问题
（2）加强了特征的传播
（3）鼓励特征重用
（4）减少了模型参数
（5）能够减少小样本的过拟合问题
DensNet缺点：
（1）非常消耗显存

Densnet基本结构

DenseNet的网络基本结构如上图所示，主要包含DenseBlock和transition layer两个组成模块。其中Dense Block为稠密连接的highway的模块，transition layer为相邻2个Dense Block中的那部分。

DenseBlock结构

上图是一个详细的Dense Block模块，其中

• 层数为5，即具有5个BN+Relu+Conv(3*3)这样的layer，
• 网络增长率为4，简单的说就是每一个layer输出的feature map的维度为4。
• 由于DenseNet的每一个Dense Block模块都利用到了该模块中前面所有层的信息，即每一个layer都和前面的layer有highway的稠密连接。假设一个具有L层的网络，那么highway稠密连接数目为L*(L+1)/2。

和Resnet不同的是，这里的连接方式得到的feature map做的是concat操作，而resnet中做的是elementwise操作。
其中ResNet的非线性变换方程如下：

DensNet的非线性变换方程如下：

DenseNet降维

highway的稠密连接方式具有诸多的优势，增加了梯度的传递，特征得到了重用，甚至减少了在小样本数据上的过拟合。但是随之产生2个缺点：
（1）DenseBlock靠后面的层的输入channel过大—Bottleneck：
这里假设第L层输出K个feature map，即网络增长率为K，那么第L层的输入为K0+K*(L-1)，其中K0为输入层的维度。也就是说，对于Dense Block模块中每一层layer的输入feature map时随着层数递增的，每次递增为K，即网络增长率。那么这样随着Dense Block模块深度的加深，后面的层的输入feature map的维度是很大的。
为了解决这个问题，在DenseNet-B网络中，在Dense Block每一层开始的时候加入了Bottleneck 单元，即1x1卷积进行降维，被降到4K维(K为增长率)。

（2） DenseBlock模块的输出维度很大—transition layer模块中加入1*1卷积降纬
每一个DenseBlock模块的输出维度是很大的，假设一个L层的Dense Block模块，假设其中已经加入了Bottleneck 单元，那么输出的维度为，第1层的维度+第2层的维度+第3层的维度+****第L层的维度，加了Bottleneck单元后每层的输出维度为4K，那么最终Dense Block模块的输出维度为4KL。随着层数L的增加，最终输出的feature map的维度也是一个很大的数。
为了解决这个问题，在transition layer模块中加入了11卷积做降维。

其中，DenseNet-B在原始DenseNet的基础上，在Dense Block模块的每一层都加入了1*1卷积，使得将每一个layer输入的feature map都降为到4k的维度，大大的减少了计算量。

DenseNet-BC在DenseNet-B的基础上，在transitionlayer模块中加入了压缩率θ参数，论文中将θ设置为0.5，这样通过1*1卷积，将上一个Dense Block模块的输出feature map维度减少一半。

Densenet实例

DenseNet-BC的网络结构参数如下，其中网络增长率K=32，conv 代表BN-ReLU-Conv

在ImageNet上DenseNet-BC和ResNet对比如下

可以看出，DenseNet-BC比ResNet参数量要少，运算量也少，准确性高。

附：tensorflow下实现DenseNet对数据集cifar-10的图像分类
https://blog.csdn.net/k87974/article/details/80352315