DeepLabV1 V2 V3

语义分割任务中存在的问题：
1.下采样导致图像分辨率降低
2.空间“不敏感”–具有一定的不变性
在DeepLabV1中作者采用的解决方案：
针对1：空洞卷积/膨胀卷积/扩张卷积
针对2：fully-connected CRF(Conditional Random Field) 但是从V3开始就不使用了
DeepLabV1网络的优势：
1.速度更快，论文中说是因为采用了膨胀卷积的原因，但是Fully-connected CRFs很耗时
2.准确率更高，相比之前最好的网络提升了7.2个点
3.模型结构简单，主要由DCNNs(Deep Covolutional Neural Networks)和CRFs联机构成。
LargeFOV(Field of View)：
在保证meanIOU不下降的前提下，减少模型的参数数量以及加快模型的训练速度。网络结构如下：

关于网络结构技术总结：
1.maxpool改成了有重叠 2.无效化了两个下采样层 3.采用了空洞卷积
MSc(Multi-Scale)：融合多尺度数据。包含原图输入的数据以及前四个maxpooling层输出的数据。会增加训练参数数量，增大训练网络GPU显存，降低训练及推理的速度。
DeepLabV2：
1.backbone换成了ResNet(2016年分类网络第一名)
2.引入了ASPP
DCNNs应用在语义分割任务中的问题：
1.分辨率被降低(主要由于下采样stride>1的层导致)
2.目标的多尺度问题
3.DCNNs的不变性(invariance)会降低定位精度
对应的解决方法：
1.采用resnet的，同样也是将stride设置成1，配合使用膨胀卷积
2.针对目标多尺度的问题，DeepLabV2中提出了ASPP模块
3.通过CRFs解决，这里使用的是fully connected pairwise CRF，相比V1里的fully connected CRF要更高效点
DeepLabV2网络优势：
1.速度更快
2.准确率更高–当时的state-of-art
3.模型结构简单，还是DCNNs和CRFs联级
主要讲一下ASPP结构(atrous spatial pyramid pooling)：
ASPP-S
ASPP-L（6 12 18 24）：meanIOU效果更好，使用得多

DeepLab-ASPP：

backbone为resnet的，没有后面两层11的卷积层
消融实验：(相当于控制变量法)

学习率的变化策略poly：
lr–初始学习率
iter–当前训练的步数
max_iter–在我们整个训练过程当中所需迭代的步数
power–参数

DeepLabV3：
1.引入了Multi-grid
2.改进了ASPP结构
3.移除CRFs后处理

两个模型其实效果差不多，ASPP略好一点，github基本上都是ASPP Model。

Multi-grid：

联级模型采用的是（1,2,1）配置。ASPP模型采用的是（1,2,4）配置。
在block当中，膨胀卷积采用的膨胀系数是rateMulti-Grid。
消融实验：

Pytorch搭建MobileNetV3论文中提出的LR-ASPP语义分割模型：

补充说明：
mean iou的意思是对每一个类别求iou,然后求和除以类别个数。
感受野（Receptive Field）的定义是卷积神经网络每一层输出的特征图（feature map）上的像素点在输入图片上映射的区域大小。如下图。

backbone：支柱核心，网络骨架
dropout：dropout是深度学习中被广泛的应用到解决模型过拟合问题的策略。dropout是一个正则方法。
使用dropout的几个技巧：丢失率设置为 0.5时会取得最强的正则化效果；
不建议使用大于 0.5的丢失率。
双线性插值BiLinear：缩放图片，修改图像尺寸。
DCNNs：Deep Convolutional Neural Networks图像语义分割与深度学习的结合。
消融实验：消融实验的核心是控制变量。
feature map：在每个卷积层，数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起，其中每一个称为一个feature map特征图。