语义分割论文:LiteSeg: A Novel Lightweight ConvNet for Semantic Segmentation及其Pytorch实现

LiteSeg: A Novel Lightweight ConvNet for Semantic Segmentation
PDF: https://arxiv.org/pdf/1912.06683.pdf
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

LiteSeg模型，在Cityscapes数据集上针对640×360分辨率的图像以每秒161帧的速度，达到了67.81%的mIoU精度。

1 概述

提出一个新的更深层的Atrous Spatial Pyramid Pooling module (ASPP)，并应用了(Long and short residual connection)长短残差连接以及(Depthwise Separable Convolution)深度可分离卷积，从而得到了一个更快、更有效的语义分割模型。

2 LiteSeg 网络结构图:

LiteSeg 主要基于Deeplab V3+修改而来,下面为两者的对比:
Deeplab V3+:

LiteSeg:

区别:

Encoder

• DASPP在ASPP的每个3 x 3卷积后面再加一个3 x 3的卷积,同时将所有3 x 3的核由256减少为96;
• 通过 short residual connection融合DASPP的输入和输出;

Decoder

• 在原来的 3 × 3 卷积后面再添加一个3 × 3 卷积,同时将所有3 x 3的核由256减少为96;
• 通过 long residual connection融合Backbone的第一阶段输出和Encoder输出;

Pytorch代码: