DenseNet:《Densely Connected Convolutional Networks》论文笔记

DenseNet:《Densely Connected Convolutional Networks》

     这篇文章出自CVPR2017的最佳论文。本文主要介绍了一种新的卷积神经网络，名为密集卷积神经网络。下文是本人读完该论文做的一些笔记心得。通过分享希望能帮到有需要的朋友，如有问题，请朋友们指正，不胜感激[抱拳]。

介绍

    最近的研究表明，随着网络结构的加深，梯度与信息消失现象也就越明显。为了解决这一问题，人们已设计出了ResNet，Highway Networks，FractalNets，GoogleNet等结构。这些网络结构有一个共同的特点：在每一层与之后的层之间建立捷径来缓解梯度消失这种现象。但是这样也会带来一些问题：大量的网络参数，网络结构的利用率不高（一些层被有选择地dropout了）。    

    为了解决这些问题，作者提出了一种具有密集连接的卷积神经网络：DenseNet。它以前馈的方式使每一层都从前面的所有层获得额外的输入，并将自己的特征映射传递给后面的所有层。这样网络的每一层的信息得到充分的利用，缓解了梯度消失的同时，极大地减少了参数。     

    DenseNet有几个引人注目的优点：缓解了消失梯度问题，增强了特征传播，鼓励了特征重用，并大大减少了参数的数量。DenseNet在大多数方面都比最先进的技术有了显著的改进，同时只需更少的计算便能实现更高的性能。

DenseNet网络结构

    传统的卷积前馈网络是将第 ℓ 层的输出作为输入连接到第 (ℓ + 1) 层，产生了以下的层转换:    xℓ= Hℓ(xℓ−1) 。

    ResNet网络中添加了一个跳过连接，它通过一个标识函数绕过非线性转换: 也就是说第 ℓ 层会从它之前的所有层中接受feature-maps，公式表示如下：