Densenet（Algorithm+Code）

最新推荐文章于 2024-04-20 10:45:00 发布

小草莓lllll

最新推荐文章于 2024-04-20 10:45:00 发布

阅读量540

点赞数 1

分类专栏：计算机视觉文章标签： densenet cvpr2017

本文链接：https://blog.csdn.net/qq_31196849/article/details/78351872

版权

本文详细介绍了DenseNet的网络结构，包括Dense Block的设计原理，以及DenseNet-B、DenseNet-C和DenseNet-BC等变种。DenseNet通过串联方式增强特征传递，有效缓解梯度消失问题。代码分析部分展示了DenseNet的实现框架，并讨论了reuse的使用和反向传播过程中的技巧。

摘要由CSDN通过智能技术生成

论文链接：Densely Connected Convolutional Networks
代码github：code

1.网络结构

这里写图片描述

该网络参考了ResNet(解决了网络深的时候梯度消失问题)、GoogleNet的inception（网络宽的问题）。如图所示，为稠密链接，每层以前一层的输出为输入，对于L层的网络，一共有L个链接，对于densenet，则有 $\frac {L(L+1)}2$ .
加深网络结构首先需要解决的是梯度消失问题，解决方案是：尽量缩短前层和后层之间的连接。比如上图中，H4层可以直接用到原始输入信息X0，同时还用到了之前层对X0处理后的信息，这样能够最大化信息的流动。反向传播过程中，X0的梯度信息包含了损失函数直接对X0的导数，有利于梯度传播。
DenseNet的几个优点：
1、减轻了vanishing-gradient（梯度消失）
2、加强了feature的传递
3、更有效地利用了feature
4、一定程度上较少了参数数量

2.Dense Block 结构

如下图所示，每层实现了一组非线性变换 $H_l(.)$ ，可以是Batch Normalization (BN) ,rectified linear units (ReLU) , Pooling , or Convolution (Conv). 第l层的输出为 $x_l$ 。
dense block
对于ResNet： xl=