霹雳吧啦Wz语义分割学习笔记P8

P8.DeepLabV3网络简介

1.前言

Rethinking Astrous Convolution for Semantic Image Segmentation 2017CVPR

https://arxiv.org/abs/1706.05587

引入了Multi-grid

改进ASPP结构

移除CRFs后处理

2.关于获取多尺度范围信息的一些可选的架构

a.将图片缩放到不同的尺度，然后分别输入到网络进行正向推理，将多个尺度的输出进行融合得到最终的输出

b.按照分类网络backbone进行一系列的下采样，将最后的特征层进行上采样，再和浅层的特征层做融合，再上采样再融合，以此类推，直到还原到原图大小

c.将分类网络当中最后几个下采样层的步距设置为1，再引入膨胀卷积来增大网络的感受野

d.引入ASPP结构，增加模型获取多尺度上下文的能力

3.DeepLabV3两种模型结构

cascaded model联级模型

ASPP model

 4.Multi-grid

cascaded model——（1，2，1） 

ASPP——（1，2，4）

5.消融实验

6.训练细节

训练策略中三个主要的不同点

采用更大的crop size，在训练过程中将输入网络的尺寸设置得更大一些

在训练时将得到的最终结果上采样到原图尺度后再计算损失

在训练结束后冻结BN层，再fine-tuning其他参数

7.Pytorch官方实现的DeepLabV3