计算机视觉 ｜ 语义分割与Segmentation

前 言

        「MMSegmentation」 是一个基于 PyTorch 的语义分割开源工具箱。它是 OpenMMLab 项目的一部分。

        MMSegmentation v1.x 在 0.x 版本的基础上有了显著的提升，提供了更加灵活和功能丰富的体验。

主要特性

• 统一的基准平台

        我们将各种各样的语义分割算法集成到了一个统一的工具箱，进行基准测试。

• 模块化设计

        MMSegmentation 将分割框架解耦成不同的模块组件，通过组合不同的模块组件，用户可以便捷地构建自定义的分割模型。

• 丰富的即插即用的算法和模型

        MMSegmentation 支持了众多主流的和最新的检测算法，例如 PSPNet，DeepLabV3，PSANet，DeepLabV3+ 等.

• 速度快

        训练速度比其他语义分割代码库更快或者相当。

一、什么是语义分割 

任务：将图像按照物体的类别分割成不同的区域；

等价于：对每个像素进行分类。

 二、语义分割 vs 实例分割 vs 全景分割

三、语义分割基本思路

1、按颜色分割

 

2、逐像素分类 

全连接层卷积化

四、深度学习下的语义分割网络 

1、全卷积网络 

2、预测图的升采样 

问题：图像分类模型使用降采样层(步长卷积或池化)获得高层次特征，导致全卷积网络输出尺寸小于原图，而分割要求同尺寸输出；

解决方法：
对预测的分割图升采样，恢复原图分辨率，升采样方案

• 双线性插值
• 转置卷积: 可学习的升采样层

3、基于多层级特征的上采样

4、上下文信息 

5、空洞卷积与DeepLab系列算法

 

空间金字塔池化 

 6、语义分割算法总结

7、近期前沿的语义分割工作

1）SegFormer 

2）K-Net

3）MaskFormer

4）Mask2Former

5）SAM

五、语义分割模型的评估

1、真实图与预测图