08 语义分割与MMSegmentation

记录时间：2023年6月13日

应用

1. 医疗领域
   
2. 遥感领域
   
3. 钢轨表面裂纹提取
   
4. 无人驾驶
   
5. 人像分割
   

比较

经典论文

Fully Convolutional Network

论文：Fully convolutional networks for semantic segmentation (CVPR 2015)

解决问题1：图像分类模型使用降采样层（步长卷积或池化）获得高层次特征，导致全卷积网络输出尺寸小于原图，而分割要求同尺寸输出。

思路：使用升采样，升采样的方法：

1. 双线性插值
2. 转置卷积
   
   
   
   
   
   
   解决问题2：基于顶层特征预测，再升采样32倍得到的预测图较为粗糙。
   解决思路：结合高层次与低层次特征，如FCN，如U-net（下篇论文）
   
   

UNet

解决方法：逐级融合高层次与低层次特征
论文：U-Net: Convolutional Networks for Biomedical Image Segmentation (MICCAI 2015)

PSPNet

解决问题：更好的获取上下文的信息

DeepLab系列

v3+的版本目前使用最多，DeepLab v3+是经典的模型

解决问题1：网络中的下采样问题
解决方法：空洞卷积

解决问题2：模型直接输出的分割图较为粗糙，尤其再物体边界处不能产生很好的分割效果。
解决方法：条件随机场，Conditional Random Field, CRF

解决问题3：上下文信息
解决方法：（多尺度空洞卷积）ASPP模块捕捉上下文信息

语义分割算法演进

问题：

1. 网络的降采样问题
2. 恢复预测图细节的问题
3. 上下文信息的处理问题
   

前沿新算法

SegFormer

发展趋势：使用Transformer
论文：SegFormer:Simple and Efficient Design for Semantic Segmentation with Transformers

K-Net

发展趋势：统一语义分割、实例分割和全景分割任务
论文：K-Net:Towards Unified Image Segmentation

MaskFormer

论文：Per-Pixel:Classification is not all you need for semantic segmentation

Mask2Former

论文：Masked-attention Mask Transformer for Universal Image Segmentation

Segment Anything（SAM）

Facebook提出的。
发展趋势：视觉大模型

评估方法

1. IoU
2. Dice
3. Accuracy
4. mAcc
5. mIoU
6. mDice