OpenMMLab图像分割算法库MMSegmentation

Supported :

 语义分割？

任务：将图像按照物体的类别分割成不同的区域，等价于对每个像素进行分类

 应用：自动驾驶领域辅助车辆对道路的情况进行识别与认知、人像分割实时替换视频背景、智能遥感检测不同季节地表水域变换、医疗影像分析辅助进行医疗诊断。

语义分割 vs 实例分割 vs 全景分割 （难度逐渐增大）

 语义分割基本思路：

1.按颜色分割：

先验知识：物体内部颜色接近、物体交界颜色变换

问题：先验知识不完全准确，没有用到任何语义信息，需要额外手段确定物体类别

2.逐元素分类：

 优势：可以充分利用已有的图像分类模型

问题：效率低下，重叠区域重复计算卷积（可以复用卷积计算）

卷积复用

 问题：全连接层要求固定输入大小、语义分割输入图像大小是不固定的

解决：全连接层的卷积化

 经典方法：FCN：

 

 双线性插值

 卷积实现双线性插值：

 FCN的预测与训练

 FCN中还有个创新点：结合低层次和高层次特征图（高层特征图经过多次降采样，细节丢失严重）

 

 

 上下文信息：图像周围的内容（上下文）可以帮我我们做出更正确的判断

 如何在预测过程中使用上下文信息？方案：增加感受野更大的网络分支，将上下文信息导入局部预测中。 

如PSPNet

 DeepLab系列

 空洞卷积：解决下采样问题——输出尺寸变小

如果将池化层和卷积中的步长去掉：

可以减少下采样次数；特征图变大，需要对应增大卷积核以维持相同感受域，但增加大量参数

空洞卷积在不增加参数的情况下增大感受野

 

 条件随机场CRF：

 

 

 

 

总结：