- 来源
- 任务定义
- 将图片中的每个像素分类到对应的类别
- 图片分类 -> 目标检测 -> 语义分割
- 图片分类 -> 目标检测 -> 语义分割
- 将图片中的每个像素分类到对应的类别
- 图像分割任务
- 语义分割
- 不分割同一类的不同实体
- 不分割同一类的不同实体
- 实例分割
- 分割不同实体
- 仅考虑前景物体
- 全景分割
- 背景仅考虑类别
- 前景需要区分实体
- 应用场景
- 背景虚化
- 无人驾驶
- 智能遥感
- 医疗影像分析
- 背景虚化
- 语义分割
- 算法总结
- 基本思路:按颜色分割
- 概述
- 基于图像处理方法 按照颜色分割
- 通过额外手段确定物体类别
- 假设
- 物体内部颜色相近
- 物体交界颜色变化
- 问题
- 先验知识不完全准确
- 不同物体颜色可能相近
- 物体内会包含多种颜色
- 概述
- 基本思路:基于滑窗逐像素分类
- 概述
- 问题
- 重叠区域重复计算卷积
- 优势
- 可以充分利用已有图像分类模型
- 解决方法:复用卷积计算
- 为了适配不同大小的图片 使用卷积实现全连接层
- 概述
- 挑战
- 恢复网络中的降采样
- 代表模型:
- FCN
- U-Net
- 代表模型:
- 利用上下文信息
- 思路:增加感受野更大的网络分支 将上下文信息导入局部预测中
- 代表模型:PSPNet
- 恢复网络中的降采样
- PSPNet
- 对特征图进行不同尺度的池化 得到不同尺度上下文特征
- 上下文特征经过通道压缩和空间上采样后拼接回原特征图
- 基于融合特征产生预测图
- DeepLab
- 使用空洞卷积代替普通卷积和池化层
- 池化操作降低图片的分辨率
- 池化操作降低图片的分辨率
- 使用CRF作为后处理手段
- 结合模型预测和原图颜色信息 精细化分割效果
- 通过空间金字塔池化结构(Atrous Spatial Pyramid Pooling, ASPP)获得多层次上下文信息
- 使用空洞卷积代替普通卷积和池化层
- DeepLab v3+
- 通过ASPP获得多层次上下文信息
- 采用Encoder-Decoder架构 在Decoder端引入通过ASPP获得的上下文信息
- 前沿算法
- SegFormer
- K-Net
- MaskFormer
- Mask2Former
- SAM
- 评估指标
- Accuracy
- IoU
- Dice
- mAcc
- mIoU
- mDice