Openmmlab寒假训练营(六)

Openmmlab寒假训练营(六)

语义分割的基本思路：逐像素分类

问题1：预测图的升采样

问题引出：虽然通过降采样层能获得高层次的特征，但是这样的网络输出尺寸是远小于原图的，而这与分割的要求是相矛盾的

解决方法：
1.双线性插值
2.转置卷积——一个可学习的升采样层

问题2：顶层特征的升采样多次造成预测图较为粗糙

原因分析：多次降采样的同时会丢失细节，最根本是低层和高层的细节信息和语义信息两者都不可兼得(低层细节信息丰富，语义信息贫乏； 语义信息丰富，细节信息贫乏)
解决思路：结合低层次和高层次的特征图（多尺度特征图混合）
2019年之前经典语义分割网络的详细做法：
1.FCN的做法：低层次特征图和高层次特征图分别产生类别预测，再升采样到原图大小，再平均得到最终结果
2.UNet的做法：逐级融合高低层次特征

问题3：上下文信息

原因：上下文信息对一些歧义的边界部分会能加大辨识度
方案：增加感受野更大的网络分支，将上下文信息导入局部预测中
经典案例：PSPNet2016

问题4：DeepLab系列与空洞卷积算法

DeepLab系列的主要贡献（这里只做概述，具体看课件）
1.使用空洞卷积解决网络中的下采样问题
2.使用条件随机场CRF作为后处理手段，精细化分割图
3.使用多尺度的空洞卷积（ASPP模块）捕捉上下文信息

问题5：评价指标（基于交并集的评估指标）

Accuracy,IoU,Dice三个指标图示：