文献《Densely Connected Convolutional Networks》阅读笔记

论文的主要贡献：

论文提出了一种新的网络DenseNet。

   论文想法的来源：

卷积神经网络越深，准确率越高，同时与输入靠近的层和输出靠近的层时间的连接越短，越有助于训练。

   论文的网络DenseNets：

是将要通过卷积神经网络的图像。网络一共包含L层，实践过程中会有一个非线性转换函数 （类似于BN,ReLU,Pooling,或卷积）， 中的l表示层。第l层的输出记为 。

ResNet. 传统的神经网络将第l层的输出作为第l+1层的输入，满足下列的转换形式 。ResNet跳过非线性转换，用一个特定函数添加skip-connection： 这样做的一个好处是通过这个特定的函数，梯度可以直接的在later layers与earlier layers时间流动，同时带来的问题是，这个通过和式进行结合的，可能会妨碍网络中的信息流动。

Dense connectivity. 为了进一步改善层与层之间的信息流动，我们提出了一种新的连接方式：直连任何层与其的所有后续层。 接受所有前向层的输出 作为输入： ，其中 表示 层产生的feature-map的级联。

Composite function.我们定义 包含下面三个操作的综合函数：BN,ReLU,3*3 Conv。

P