DenseNet原文整理

weixin_45246566

于 2024-04-20 10:45:00 发布

阅读量848

点赞数 21

文章标签：深度学习算法笔记

本文链接：https://blog.csdn.net/weixin_45246566/article/details/137984925

版权

由于U2Fusion的主要融合网络使用到了DenseNet，所以详细的阅读了DenseNet的原文。

DenseNet原文整理

一、Introduction
二、Related work
三、DenseNets框架
四、实验
- 1、准备工作
- 2、结论

一、Introduction

原由：
- 1.随着CNN的发展，研究发现当CNN过深时，会出现梯度消失的问题；
- 2.卷积网络靠近输入和输出之间的短链接可以使模型更深更准确更高效（参数少而收敛快）。
结构：对于每层，将先前所有层的特征图作为输入，自身输出作为后续层输入。当有L层时，直接连接数为L(L+1)/2。
优势：
- 1. 缓解梯度消失问题；
- 1. 加强特征传播；
- 1. 鼓励特征重用；
- 1. 【最优势】参数少、参数效率高；
- 1. 改进信息流和梯度，易于训练；
- 1. 实现隐式深度监督，有助于训练更深层次的网络框架；
- 1. 密集连接具有正则化效应，减少过拟合情况。

二、Related work

这一部分主要介绍了跳跃连接的有效性，分析了ResNet和GoogleNet对跳跃连接的应用及其优劣势，从而引出DenseNet创新性跳跃连接方式的优势。

三、DenseNets框架

1、ResNet连接和Dense blocks连接的区别

ResNet：这样连接梯度可以通过恒等变换从后面的层流向前面的层，但缺点是恒等函数和H变换通过求和组合，会阻碍网络中的信息流动。
Dense blocks：将x0、x1、……串联为一个张量传入H。H是几个操作的组合BN+ReLU+Conv，BN是批量归一化。

2、池化层

密集链接要求每层输出大小是一样的，这就导致网络不能实现下采样，解决方法是在两个Dense Block之间使用过渡层实现下采样的操作。过渡层包括一个批量归一化、一个1x1卷积和一个2x2平均池化层组成。
在这里插入图片描述

3、增长率

增长率k是超参数，指每个层H的输出特征图数（channels），当模型输入通道数为k0，增长率为k时，第l层接收的输入通道数为k0+k×(l-1)。DenseNet和此前的CNN框架的一个重要区别是前者只需要较窄的层，即较小的增长率就可以实现较好的性能。

4、瓶颈层（Bottleneck）

使用瓶颈层减少每层（H）输入特征图的通道数，提高计算效率。瓶颈层的构成和H一样，只是卷积核变为1X1，即BN-ReLU-Conv(1×1)，因此H变为BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)。带有瓶颈层的DenseNet记为DenseNet-B。

5、压缩因子

为了进一步提高模型紧凑型，使用压缩因子θ（0<θ<=1）减少过渡层的特征图映射数量（即减少输出通道数），当dense block输出通道数为m时，过渡层输出通道数为θ×m。θ=1时过渡层特征图映射数量不变，文中设置θ=0.5，使用压缩因子的DenseNet记为DenseNet-C。同时使用瓶颈层和压缩因子的记为DenseNet-BC。