引入:本次学习内容基本来自于Liang-Chieh Chen,George Papandreou编写的的《Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation》,以及部分讲解视频,本学习记录仅为个人学习收获,部分内容存在纰漏烦请各位大佬批评指正。
(一)摘要:本文提出了一种用于语义图像分割的编码器-解码器模型,结合了空洞可分离卷积。该模型基于Xception架构进行了改进,旨在提高分割准确性和计算效率。与传统的最大池化操作不同,本文使用带有步长的深度可分离卷积来替代最大池化操作,从而实现任意分辨率下的特征提取。此外,还添加了额外的批归一化和ReLU激活以增强特征表达能力。通过在多个数据集上进行实验证明,该模型在语义图像分割任务中取得了优异的结果。这项研究为语义图像分割领域的进一步发展提供了有价值的思路与技术参考。
(二)发表时间:2018
(三)关键词:图像分割,空洞卷积,可分离卷积,ASSP,编码解码
(四)学习记录:
DeepLabv3+相比于上个版本,做出了一些调整。增加了编码-解码结构,同时添加了Xception模型,并将深度可分离卷积应用于空洞空间金字塔池化和解码器模块,从而实现了更快速和更强大的编码-解码网络。
DeepLabv3+在DeepLabv3的基础上添加了一个简单而有效的解码器模块,丰富的语义信息被编码在DeepLabv3的输出中,通过应用空洞卷积可以控制编码器特征的密度,具体取决于计算资源的预算。此外,解码器模块还可以恢复目标边界。
DeepLabv3中的编码器特征通常是使用输出步长为16计算得到的。这些特征通过双线性插值上采样了16倍,这可以被视为一种简单的解码器模块。然而,这种简单的解码器模块可能无法成功恢复对象分割的细节。因此,作者提出了一个简单但有效的解码器模块。首先,将编码器特征双线性上采样4倍,然后与网络骨干相应的低级特征进行拼接,这些低级特征具有相同的空间分辨率。对低级特征应用另一个1×1卷积来减少通道数,因为相应的低级特征通常包含大量通道(例如,256或512个)。在拼接之后,使用几个3×3卷积来精炼特征,然后再进行一个简单的双线性上采样,上采样4倍。
随后对Xception进行了改进。所有的最大池化操作都被带步长的深度可分离卷积替代,这能够应用空洞可分离卷积在任意分辨率上提取特征图。在每个3×3的深度可分离卷积后加入额外的批归一化和ReLU激活,类似于MobileNet设计。如下图所示。