语义分割与MMSegmentation

视频地址：语义分割与MMSegmentation_哔哩哔哩_bilibili

 github：https://github.com/open-mmlab/mmsegmentation

简介：

1、什么事语义分割：

任务：将图像按照物体的类别分割成不同的区域；（对每个像素进行分类）

 2、应用

        无人驾驶

        人像分割

        遥感实体分割：分辨地表物体的类别，通过右侧分割之后的图像可以看到，红色的部分属于湖泊水流。通过智能遥感能够监测不同季节地表水域的变化，从而辅助农业生产，以及旱灾洪灾的预测等等

        医疗影响分析：

图像分割：

        三种层次：语义分割->实例分割->全景分割，难度逐渐增大；

一、语义分割基本思路

按颜色分割： 

逐像素分类：

在原图卷积，复用特征图信息；

二、深度学习下的语义分割模型

1、全卷积网络

 问题:
        图像分类模型使用降采样层(步长卷积或池化)获得高层次特征，导致全卷积网络输出尺寸小于原图，而分割要求同尺寸输出

解决方法:
        对预测的分割图升采样，恢复原图分辨率，升采样方案
        1.双线性插值
        2.转置卷积:可学习的升采样层

 双线性插值：

转置卷积： 

 

问题：基于顶层特征预测，再升采样32 倍得到的预测图较为粗糙分析:高层特征经过多次降采样，细节丢失严重
解决思路: 结合低层次和高层次特征图

 

 UNet：

 

 

2、上下文信息与PSPNet模型

        图像周围的内容（也称为上下文）可以帮助我们作出更准确的判断；

PSPNet

        (a)对特征图进行不同尺度的池化，得到不同尺度的上下文特征

        (b)上下文特征经过通道压缩和空间上采样之后拼接回原特征图同时包含局部和上下文特征

        (c)基于融合的特征产生预测图

 

3、空洞卷积与DeepLab模型 

 DeepLab 是语义分割的又一系列工作，其主要贡献为:

•         使用空洞卷积解决网络中的下采样问题
•         使用条件随机场CRF作为后处理手段，精细化分割图
•         使用多尺度的空洞卷积(ASPP模块)捕捉上下文信息

DeepLab v1 发表于2014年，后于2016、2017、2018 年提出 v2v3、v3+版本

 空洞卷积：

图像分类模型中的下采样层使输出尺寸变小
如果将池化层和卷积中的步长去掉:

• 可以减少下采样的次数;
• 特征图就会变大，需要对应增大卷积核，以维持相同的感受野，但会增加大量参数
• 使用空洞卷积(Dilated Convolution/Atrous Convolution)，在不增加参数的情况下增大感受野 

 

 

 

 

 

 

 

 

 

 

统一各种分割模型： 

 

 

 

 

 

3、分割模型的评估方法

 

 

4、实践MMSegmentation