openmmlab笔记6

语义分割

将图像按物体类别分类=对图像每个像素进行分类

应用

无人驾驶：对行人，道路，交通标志，其他车辆，路障，房屋等进行识别
视频会议：替换背景，抠出人像
遥感影像：分辨地形，湖泊等地理信息，辅助农业，水利等事业
医疗影像分析：对不显眼的肿瘤病变位置识别

语义分割 vs 实例分割 vs 全景分割

语义分割：仅考虑像素的类别
实例分割：不仅考虑像素的类别，还要分辩相同类别的个体，不分割背景
全景分割：不仅考虑像素的类别，还要分辩相同类别的个体，分辩背景

语义分割的基本思路

按颜色分割：相同相邻颜色的像素为同一物体，按图像处理的方法分割

逐像素分类：对每个像素进行分类，效率低下

复用卷积计算：在原图上计算特征（计算卷积核），再把计算得到的卷积核用在滑窗上判断滑窗的类别

全卷积网络：用卷积实现全连接层
预测图的升采样：由于卷积分类后的输出尺寸小于输入，而分割需要原图尺寸，所以需要对输出图进行上采样
解决方法：1、双线性插值 ；2、转置卷积——可学习的升采样层 （反卷积？）

原图（细节丰富，语义贫瘠）—— 高层次特征图（细节贫瘠，语义丰富）
基于多层级特征的上采样：
由于上采样得到的图比较粗糙，细节丢失严重
解决方法：fcn ：基于低层次和高层次特征图分别产生类别预测，升采样到原图大小，再平均得到最终结果

unet：
逐级融合高低层次特征

上下文信息：
滑窗丢失上下文，导致分类不明确
需要非常大的感受野
PSPnet 多尺度感受野（卷积核大小），在拼接特征图（通道数加一起），最后在进行特征融合

deeplab：
在卷积过程中保留特征图的长宽，因此减少下采样的次数，去掉池化层，去掉步长大于1的卷积层
但这样会增大卷积核，增大可学习的参数
使用空洞卷积可以解决这个问题
空洞卷积：在标准卷积的基础上，膨胀卷积核，在进行卷积运算，就可以得到形同尺寸的特征图

条件随机场：
边界清晰：将原图和预测图进行，惊醒更精确的分割

空间金字塔池化（ASPP）：
多尺度池化，后叠在一起，在进行特征融合

模型评估：
iou 交并比 交集/并集
acc=交集/ground truth