1、Deeplabv1
DeepLab是结合了深度卷积神经网络(DCNNs)和概率图模型(DenseCRFs)的方法。在实验中发现DCNNs做语义分割时精准度不够的问题,根本原因是DCNNs的高级特征的平移不变性(即高层次特征映射,根源在于重复的池化和下采样)。
针对信号下采样或池化降低分辨率,DeepLab是采用的atrous(带孔)算法扩展感受野,获取更多的上下文信息。另外DeepLab采用完全连接的条件随机场(CRF)提高模型捕获细节的能力。
论文的模型基于VGG16,在Titan GPU上运行速度达到了8FPS,全连接CRF平均推断需要0.5s ,PASCAL VOC-2012 达到71.6% IOU accuracy。
2、DeepLabv2
deeplabv2是相对于deeplabv1基础上的优化。deeplabv1在三个方向努力解决,但是问题依然存在:特征分辨率的降低、物体存在多尺度,DCNN的平移不变性。 因DCNN连续池化和下采样造成分辨率降低,DeepLabv2在最后几个最大池化层中去除下采样,取而代之的是使用空洞卷积,以更高的采样密度计算特征映射。 物体存在多尺度的问题,deeplabv1中是用多个MLP结合多尺度特征解决,虽然可以提供系统的性能,但是增加特征计算量和存储空间。论文受到我们受到spatial pyramid pooling(SPP)的启发,提出了一个类似的结构,在给定的输入上以不同采样率的空洞卷积并行采样,相当于以多个比例捕捉图像的上下文,称为ASPP(atrous spatial pyramid pooling)模块。
Deeplabv2 在之前的基础上又给出了三个方面的贡献:
一是使用Atrous Convolution 代替原来上采样的方法,比之前得到更高像素的score map,并且增加了感受野的大小;
二是使用ASPP 代替原来对图像做预处理resize 的方法,使得输入图片可以具有任意尺度,而不影响神经网络中全连接层的输入大小;
三是使用全连接的CRF,利用低层的细节信息对分类的局部特征进行优化。
论文的模型基于ResNet,在NVidia Titan X GPU上运行速度达到了8FPS,全连接CRF平均推断需要0.5s ,在耗时方面和deeplabv1无差异,但在PASCAL VOC-2012 达到79.7 mIOU。
3、deeplabv3
deeplab延续到deeplabv3系列,依然是在空洞卷积做文章,但是探讨不同结构的方向。deeplabv3论文图2比较多种捕获多尺度信息的方式:a. Image Pyramid: 将输入图片放缩成不同比例,分别应用在DCNN上,将预测结果融合得到最终输出。b. Encoder-Decoder: 利用Encoder阶段的多尺度特征,运用到Decoder阶段上恢复空间分辨率(代表工作有FCN、SegNet、PSPNet等工作)。c. Deeper w. Atrous Convolution: 在原始模型的顶端增加额外的模块,例如DenseCRF,捕捉像素间长距离信息。d. Spatial Pyramid Pooling: 空间金字塔池化具有不同采样率和多种视野的卷积核,能够以多尺度捕捉对象。
Deeplab v1-v2都是使用带孔卷积提取密集特征来进行语义分割。但是为了解决分割对象的多尺度问题,deeplabv3设计采用多比例的带孔卷积级联或并行来捕获多尺度背景。
此外,deeplabv3将修改之前提出的带孔空间金字塔池化模块,该模块用于探索多尺度卷积特征,将全局背景基于图像层次进行编码获得特征,在PASCAL VOC-2012 达到86.9mIOU。
可以看到,条件随机场(CRF)被去除了,并且模型比较简洁易懂。
4、deeplabv3+
DeepLabv3+ 对 DeepLabV3 添加了一个简单有效的解码模块,提升了分割效果,尤其是对物体边界的分割. DeepLabV3+的改进有:
- 我们提出了一种新的编码器 - 解码器结构,它采用DeepLabv3作为强大的编码器模块和简单而有效的解码器模块。
- 可以任意通过控制 atrous convolution 来输出编码特征的分辨率,来平衡精度和运行时间(已有编码-解码结构不具有该能力.).
- 我们将Xception模型用于分段任务,并将深度可分离卷积应用于ASPP模块和解码器模块,从而产生更快更强的编码器 - 解码器网络。
- 我们提出的模型在PASCAL VOC 2012和Cityscapes数据集上获得了 state-of-art performance, 89.0mIOU。我们还提供设计选择和模型变体的详细分析。
deeplabv3+原理解析:https://www.aiuai.cn/aifarm132.html
deeplabv3+实验详解:https://blog.csdn.net/u011974639/article/details/79518175