【OpenMMLab】语义分割与MMSegmentation

系列文章目录

第一课：【OpenMMLab】OpenMMLab概述
第二课：【OpenMMLab】人体姿态估计、关键点检测与MMPose
第三课：【openMMLab】MMPose 代码教程
第四课：【OpenMMLab】深度学习预训练与 MMPreTrain
第五课: 【OpenMMLab】MMPretrain 代码教程
第六课：【OpenMMLab】目标检测与MMDetection
第七课：【OpenMMLab】MMDetection 代码

MMSegmentation 语义分割算法库

MMSegmentation 是专门做图像分割，尤其是语义分割的算法库。在无人驾驶、遥感图像、医疗影响等领域，语义分割都是非常重要的算法。算法库内容非常丰富，包括 600+ 个预训练模型和 40+ 篇算法复现。
视频教程地址：https://www.bilibili.com/video/BV1gV4y1m74P
算法库地址：https://github.com/open-mmlab/mmsegmentation

什么是语义分割

任务：按照图像中每个像素的语义类别，将图像分割成不同的区域
等价于：对图像中的每个像素进行分类

应用

无人驾驶

自动驾驶车辆，会将行人，其他车辆，行车道，人行道、交通标志、房屋、草地与树木等等按照类别在图像中分割出来，从而辅助车辆对道路的情况进行识别与认知。

人像分割

实时替换视频的背景：在智慧互娱和智能会议场景中，可以通过这种方法增加交互的多样性

智能遥感

分辨地表物体的类别，通过右侧分割之后的图像可以看到，红色的部分属于湖泊水流。:通过智能遥感能够监测不同季节地表水域的变化，从而辅助农业生产，以及旱灾洪灾的预测等等。

图像分割

语义分割：仅考虑像素的类别，不分割同一类的不同实体
实例分割：分割不同的实体，仅考虑前景物体
全景分割：背景考虑类别，前景区分不同实体

解决思路

传统方法：按照颜色分割

将颜色相近的区域划分为同类区域。
**问题：**先验知识不准确。相同的的物体内部颜色可能不同；同一物体可能被其他物体分成两部分；不同类之间颜色可能具有相似的分布。需要使用额外的手段确定不同的类别。

基本思路：逐像素分类

使用滑窗在图像中滑动，滑窗内的区域作为输入给到一个分类网络，分类输出滑窗中心像素的类别。
优势：可以利用现有的分类模型
劣势：效率低下，滑窗之间存在大量的重叠区域；每个像素多次参与卷积计算。

改进思路1：复用卷积计算的结果

不再对每个滑窗进行单独的分类；而是对整张图片进行卷积计算，然后使用滑窗区域对应的特征对中心像素进行分类，从而复用卷积计算的结果。

歧义问题

通过局部区域的信息通常无法准确判断像素的类别。

图像周围的内容（也称上下文）可以帮助我们做出更加准确的判断。

具体解决办法：对特征进行不同倍率的下采样，从而不同程度的扩大后续卷积层的感受野，进而得到更加丰富的上下文信息。

经典工作

Fully Convolutional Network 2015

使用1×1卷积代替分类网络中的全局池化和全连接层，实现对特征每个像素的分类。问题在于，卷积神经网络对输入图像进行不断地下采样，从而导致了最终的特征图分辨率较低。为了提升特征图的分辨率，通常对预测图进行上采样。

图像分类模型使用降采样层(步长卷积或池化)获得高层次特征，导致全卷积网络输出尺寸小于原图，而分割要求同尺寸输出。
解决方法:
对预测的分割图升采样，恢复原图分辨率，升采样方案:
1.双线性插值
2.转置卷积:可学习的升采样层

双线性插值

双线性插值就等价于对原图进行0插值之后，使用双线性插值对应的卷积核进行卷积操作。

转置卷积

转置卷积又成为反卷积或升卷积。可以理解成，使用可学习的卷积核代替原本固定的双线性插值卷积核。

基于多层次特征的上采样

上采样多倍之后得到的预测图较为粗糙。原因就是高层次特征经过多次降采样之后，丢失了细节信息。
解决思路，结合低层次和高层次的特征图进行上采样。

DeepLab 系列

DeepLab 是语义分割的又一系列工作，其主要贡献为:
使用空洞卷积解决网络中的下采样问题
使用条件随机场CRF为后处理手段，精细化分割图使用多尺度的空洞卷积(ASPP 模块)捕捉上下文信息DeepLab v1 发表于2014 年，后于2016、2017、2018 年提出 v2、v3、v3+ 版本

图像分类模型中的下采样层使输出尺寸变小
如果将池化层和卷积中的步长去掉

• 可以减少下采样的次数;
• 特征图就会变大，需要对应增大卷积核，以维持相同的感受野，但会增加大量参数
• 使用空洞卷积( Dilated Convolution/Atrous Convolution)，在不增加参数的情况下增大感受野

空洞卷积

对特征图进行下采样之后使用标准的卷积进行卷积运算；与不对图像进行下采样，而是膨胀卷积核实现了相同的操作。而且膨胀卷及不需要对特征进行下采样，扩大感受野的同时不增加参数量且保持输出图像的分辨率

条件随机场

模型直接输出的分割图较为粗糙，尤其在物体边界处不能产生很好的分割结果。
DeepLab v1&v2 使用条件随机场(CRF)作为后处理手段，结合原图颜色信息和神经网络预测的类别得到精细化分割结果。