OpenMMLab 2023/02/09

一、语义分割简介

1.1什么是语义分割

简单来讲就是将某张具体图像按照物体的类别分割成不同的区域，其实就是对图像中的每个像素进行分类，本次课内容讲解了语义分割的基本思路、深度学习下的语义分割模型[全卷积网络&空洞卷积与DeepLab模型&上下文信息与PSPNet模型]、分割模型的评估方法和MMSegmentation

1.2语义分割应用

人像分割 智能遥感 医疗影像分析等等

1.3几个概念

语义分割vs实例分割vs全景分割

二、语义分割的几种基本思路

2.1颜色分割

该思路简单粗暴，但该思路可能会因为不同物体颜色相近或者同一物体内包含多种颜色而产生较大误差

故目前常见思路为逐像素分类

逐像素分类

逐像素分类在于可以充分利用已有的图像分类模型，但滑窗可能存在效率低下，部分重叠区域重复计算卷积的问题，模型过大会造成计算量暴增

解决方法是复用卷积计算

复用卷积计算

然而使用这种方法必须要求输入图像尺寸固定

故引入全连接层的卷积化

三、深度学习下的语义分割模型

3.1.1预测图升采样

3.1.2双线性插值 Bilinear Interpolation

3.1.3转置卷积 Transposed Convolution

3.2.1上下文的重要性

3.2.2 获取上下文信息

3.3.1条件随机场Conditional Random Field，CRF

使用条件随机场 CRF 作为后处理手段，精细化分割图，因为模型直接输出的分割图较为粗糙，尤其在物体边界处不能产生很好的分割结果。

3.4.1 语义分割算法总结

四、语义分割模型评估

比较预测与真值

通过交并集来评估指标

五、MMSegmetation概述

5.1支持算法

5.2项目结构

5.3常用训练策略