深度学习之卷积神经网络（13）DenseNet

最新推荐文章于 2023-05-22 17:31:49 发布

炎武丶航

最新推荐文章于 2023-05-22 17:31:49 发布

阅读量618

点赞数 1

分类专栏： TensorFlow2 深度学习文章标签：神经网络深度学习 tensorflow

本文链接：https://blog.csdn.net/weixin_43360025/article/details/120592741

版权

深度学习同时被 2 个专栏收录

125 篇文章 54 订阅

订阅专栏

TensorFlow2

69 篇文章 12 订阅

订阅专栏

深度学习之卷积神经网络（13）DenseNet

Skip Connection的思想在ResNet上面获得了巨大的成功，研究人员开始尝试不同的Skip Connection方案，其中比较流行的就是DenseNet [1]。DenseNet将前面所有层的特征图信息通过Skip Connection与当前层输出进行聚合，与ResNet的对应位置相加方式不同，DenseNet采用在通道轴

c

维度进行拼接操作，聚合特征信息。

[1] G. Huang, Z. Liu 和 K. Q. Weinberger, “Densely Connected Convolutional Networks,” CoRR, 卷 abs/1608.06993, 2016.

如下图所示，输入 $\boldsymbol X_0$ 通过 $\text{H}_1$ 卷积层得到输出 $\boldsymbol X_1$ ， $\boldsymbol X_1$ 与 $\boldsymbol X_0$ 在通道轴上进行拼接，得到聚合后的特征张量，送入 $\text{H}_2$ 卷积层，得到输出 $\boldsymbol X_2$ ，同样的方法， $\boldsymbol X_2$ 与前面所有层的特征信息 $\boldsymbol X_1$ 与 $\boldsymbol X_0$ 进行聚合，再送入下一层。如此循环，直至最后一层的输出 $\boldsymbol X_4$ 和前面所有层的特征信息 ${X_i\}_{i=0,1,2,3}$ 进行聚合得到模块的最终输出。这样一种基于Skip Connection稠密连接的模块叫做Dense Block。

在这里插入图片描述

Dense Block结构

DenseNet通过堆叠多个Dense Block构成复杂的深层神经网络，如下图所示:

在这里插入图片描述

一个典型的DenseNet结构

下图比较了不同版本的DenseNet的性能、DenseNet与ResNet的性能比较，以及DenseNet与ResNet训练曲线。

在这里插入图片描述

DenseNet与ResNet性能比较

炎武丶航

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
深度学习之卷积神经网络（13）DenseNet

深度学习之卷积神经网络（13）DenseNet Skip Connection的思想在ResNet上面获得了巨大的成功，研究人员开始尝试不同的Skip Connection方案，其中比较流行的就是DenseNet[1]。DenseNet将前面所有层的特征图信息通过Skip Connection与当前层输出进行聚合，与ResNet的对应位置相加方式不同，DenseNet采用在通道轴ccc维度进行拼接操作，聚合特征信息。[1] G. Huang, Z. Liu 和 K. Q. Weinberger, “De
复制链接

扫一扫