1、主要参考
(1)视频
DeepLabV3网络简介(语义分割)_哔哩哔哩_bilibili
(2)代码
(3)博客
DeepLabV3网络简析_太阳花的小绿豆的博客-CSDN博客_deeplabv3网络结构
(4)源码讲解
DeepLabV3源码讲解(Pytorch)_哔哩哔哩_bilibili
2、多尺度的几个常用方法
3 deeplab v1
3.1largefov的使用,(大的空洞卷积扩展因子)
deeplabv1使用vgg16的骨干网络,在7*7输出时,先下采样,再使用大的空洞卷积因子
对应的位置,膨胀系数为12,padding为12
3.2 MSC(multi sacle)
(1)
使用后的整体结构
(2) 由于会增大计算量和GPU的占用,作者在原文中并不推荐
4、deeplabV2中使用的ASPP
4.1 采用了resnet 101
(1)
(2)针对采用vgg16的aspp
(3)采用的学习率的方法
3.4 deeplabv2的结构
(1)resnet101网络
(2)deeplabv2
下面部分
下面部分
5、deeplabv3的结构
5.1 网络结构
(2)deeplabv3有两种结构
级联模型和ASPP模型
(2.1)关于multi-grid,最新的版本没用该技术
以前是每个block的扩张率相同,现在是相同block中的、不同卷积层的扩张率均各不相同。这种清奇的改动方法被论文作者命名为“multi grid”。
(3)v3中的aspp结构
(4)v3当前的结构
5.2 Pytorch官方实现DeepLab V3模型结构
来源于博主
DeepLabV3网络简析_太阳花的小绿豆的博客-CSDN博客_deeplabv3网络结构
下图是博主根据Pytorch官方实现的DeepLab V3源码绘制的网络结构(与原论文有些许差异):
- 在Pytorch官方实现的DeepLab V3中,并没有使用Multi-Grid,有兴趣的同学可以自己动手加上试试。
- 在Pytorch官方实现的DeepLab V3中多了一个FCNHead辅助训练分支,可以选择不使用。
- 在Pytorch官方实现的DeepLab V3中无论是训练还是验证output_stride都使用的8。
- ASPP中三个膨胀卷积分支的膨胀系数是12,24,36,因为论文中说当output_stride=8时膨胀系数要翻倍。
In the end, our improved ASPP consists of (a) one 1×1 convolution and three 3 × 3 convolutions with rates = (6, 12, 18) when output stride = 16 (all with 256 filters and batch normalization), and (b) the image-level features, as shown in Fig. 5. Note that the rates are doubled when output stride = 8.