语义分割与MMSegmentation
什么是语义分割
任务: 将图像按照物体的类别分割成不同的区域
等价于: 对每个像素进行分类
应用:无人驾驶汽车
自动驾驶车辆,会将行人,其他车辆,行车道,人行道、交通标志、房屋、草地与树木等
等按照类别在图像中分割出来,从而辅助车辆对道路的情况进行识别与认知。
应用:人像分割
实时替换视频的背景
在智慧互娱和智能会议场景中,可
以通过这种方法增加交互的多样性
应用:智能遥感
分辨地表物体的类别,通过右侧分割之后的图像可以看到,红色的部分属于湖泊水流。通过智能遥感
能够监测不同季节地表水域的变化,从而辅助农业生产,以及旱灾洪灾的预测等等。
应用:医疗影像分析
通过图像分割技术,辅助进行
医疗诊断。如右图,识别脑部
肿瘤异物的位置。
空洞卷积与DeepLab 系列算法
DeepLab 系列
DeepLab 是语义分割的又一系列工作,其主要贡献为:
• 使用空洞卷积解决网络中的下采样问题
• 使用条件随机场CRF 作为后处理手段,精细化分割图
• 使用多尺度的空洞卷积(ASPP 模块)捕捉上下文信息
DeepLab v1 发表于2014 年,后于2016、2017、2018 年提出v2、v3、v3+ 版本。
空洞卷积解决下采样问题
图像分类模型中的下采样层使输出尺寸变小
如果将池化层和卷积中的步长去掉:
• 可以减少下采样的次数;
• 特征图就会变大,需要对应增大卷积核,以维持相同的感受野,但会增加大量参数
• 使用空洞卷积(Dilated Convolution/Atrous Convolution),在不增加参数的情况下增大感受野
DeepLab 模型
DeepLab 在图像分类网络的基础上做了修改:
• 去除分类模型中的后半部分的下采样层
• 后续的卷积层改为膨胀卷积,并且逐步增加rate来维持原网络的感受野
条件随机场Conditional Random Field, CRF
模型直接输出的分割图较为粗糙,尤其在物体边界处不能产生很好的分割结果。
DeepLab v1&v2 使用条件随机场(CRF) 作为后处理手段,结合原图颜色信息和神经网络预测的类
别得到精细化分割结果。
条件随机场
CRF 是一种概率模型。DeepLab 使用CRF 对分割结果进行建模,用能量函数用来表示分割结
果优劣,通过最小化能量函数获得更好的分割结果。