语义分割与MMSegmentation

  • 来源
  • 任务定义
    • 将图片中的每个像素分类到对应的类别
      • 图片分类 -> 目标检测 -> 语义分割


  • 图像分割任务
    • 语义分割
      • 不分割同一类的不同实体
    • 实例分割
      • 分割不同实体
      • 仅考虑前景物体
    • 全景分割
      • 背景仅考虑类别
      • 前景需要区分实体
    • 应用场景
      • 背景虚化
      • 无人驾驶
      • 智能遥感
      • 医疗影像分析
  • 算法总结
  • 基本思路:按颜色分割
    • 概述
      • 基于图像处理方法 按照颜色分割
      • 通过额外手段确定物体类别
    • 假设
      • 物体内部颜色相近
      • 物体交界颜色变化
    • 问题
      • 先验知识不完全准确
      • 不同物体颜色可能相近
      • 物体内会包含多种颜色
  • 基本思路:基于滑窗逐像素分类
    • 概述
    • 问题
      • 重叠区域重复计算卷积
    • 优势
      • 可以充分利用已有图像分类模型
    • 解决方法:复用卷积计算
      • 为了适配不同大小的图片 使用卷积实现全连接层
  • 挑战
    • 恢复网络中的降采样
      • 代表模型:
        • FCN
        • U-Net
    • 利用上下文信息
      • 思路:增加感受野更大的网络分支 将上下文信息导入局部预测中
      • 代表模型:PSPNet
  • PSPNet
    • 对特征图进行不同尺度的池化 得到不同尺度上下文特征
    • 上下文特征经过通道压缩和空间上采样后拼接回原特征图
    • 基于融合特征产生预测图
  • DeepLab
    • 使用空洞卷积代替普通卷积和池化层
      • 池化操作降低图片的分辨率
    • 使用CRF作为后处理手段
      • 结合模型预测和原图颜色信息 精细化分割效果
    • 通过空间金字塔池化结构(Atrous Spatial Pyramid Pooling, ASPP)获得多层次上下文信息
  • DeepLab v3+
    • 通过ASPP获得多层次上下文信息
    • 采用Encoder-Decoder架构 在Decoder端引入通过ASPP获得的上下文信息
  • 前沿算法
    • SegFormer
    • K-Net
    • MaskFormer
    • Mask2Former
    • SAM
  • 评估指标
    • Accuracy
    • IoU
    • Dice
    • mAcc
    • mIoU
    • mDice
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值