《语义分割与MMSegmentation》课堂笔记

什么是语义分割

任务： 将图像按照物体的类别分割成不同的区域

等价于： 对每个像素进行分类 

应用：

1. 无人驾驶汽车：自动驾驶车辆，会将行人，其他车辆，行车道，人行道、交通标志、房屋、草地与树木等 等按照类别在图像中分割出来，从而辅助车辆对道路的情况进行识别与认知。 
2. 人像分割：在智慧互娱和智能会议场景中，可 以通过这种方法增加交互的多样性。
3. 智能遥感：分辨地表物体的类别，通过右侧分割之后的图像可以看到，红色的部分属于湖泊水流。通过智能遥感 能够监测不同季节地表水域的变化，从而辅助农业生产，以及旱灾洪灾的预测等等。
4. 医疗影像分析：通过图像分割技术，辅助进行 医疗诊断。如右图，识别脑部 肿瘤异物的位置。

基本思路

按颜色分割

 

先验知识:物体内部颜色相近，物体交界颜色变化。

问题:先验知识不完全准确： 不同物体颜色可能相近，物体内也会包含多种颜色。

逐像素分类

优势：可以充分利用已有的图像分类模型。

问题：效率低下，重叠区域重复计算卷积。

全连接层的卷积化

全卷积网络 Fully Convolutional Network 2015 

 

卷积实现双线性插值 

UNet 2015

上下文的重要性 

图像周围的内容（也称上下文）可以帮助我们做出更准确的判断。

获取上下文信息

 

方案：增加感受野更大的网络分支， 将上下文信息导入局部预测中。 

PSPNet 2016

1. 对特征图进行不同尺度的池化，得到不同尺度的上下文特征。
2. 上下文特征经过通道压缩和空间上采样之后拼接回原特征图 → 同时包含局部和上下文特征 。
3. 基于融合的特征产生预测图。