常见卷积神经网络总结：Densenet

最新推荐文章于 2023-04-06 22:18:11 发布

Tianlock

最新推荐文章于 2023-04-06 22:18:11 发布

阅读量1.7k

点赞数 1

分类专栏：深度学习

本文链接：https://blog.csdn.net/Tianlock/article/details/88901479

版权

本文深入探讨了DenseNet，一种受到Resnet启发的卷积神经网络结构。DenseNet通过密集连接每一层的输入，形成网络内部的短路，解决了梯度消失问题，并且减少了参数数量，有利于特征的传递和防止过拟合。文章通过对比Resnet和DenseNet的公式，展示了DenseNet的concat操作和使用BN、ReLU、卷积的非线性变换顺序。此外，还介绍了DenseNet的bottleneck layer和transition layer，用于减少计算量并控制channel数量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

常见卷积神经网络总结

- DenseNet

最近时间没那么紧张了，准备把之前没看的论文总结一下，

DenseNet

DenseNet是CVPR2017的最佳论文，可见这篇论文还是很厉害的，DenseNet主要是借鉴了Resnet的思想，采取了一种全新的网络连接方式，最近的卷积神经网络主要是从深度和宽度上进行思考的，加深宽度或者加深深度，但这篇文章另辟蹊径，采取了一种新的结构，取得了很好地效果。
首先来看一下整个网络的结构，如下图所示，借鉴了Resnet的思想，Resnet是将输入和输出进行shortcut连接，而DenseNet可以看成是Resnet的极限形式，在同一个denseblock中，每一层的输入是之前所有层的输出。下图为Densenet中一个Denseblock的形状。
在这里插入图片描述
对比DenseNet和Resnet的公式，更有助于理解DenseNet：

Resnet的输出是上一层的输出加上这一层非线性变换之后的输出，而DenseNet某一层的输入是0~l-1层的输出的concat。这里需要注意，Resnet是做的加