论文阅读: 1909.OCRNet

1909.11065:Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation

创新点

  • OCR:聚合 “对象上下文信息“(Object-Contextual Representations)的分割head。
    • 因为像素的标签是像素所在的对象的标签,可通过相应的粗分割对象区域信息,对粗分割进行后处理(来增强像素特征的描述)。

    • 提出的OCR方法不同于传统的多尺度上下文方案:

      • OCR将相同对象类别的上下文像素与不同对象类别的上下文像素区分开来(是对对象进行了区分,学习了像素-对象区域之间的关系),而多尺度上下文方案(例如ASPP和PPM)则不会,仅区分具有不同空间位置的像素:
        • 在这里插入图片描述
    • 该分割head:

      • 1.将上下文像素划分为一组软对象区域,每个软对象区域对应于一个类别,即从深层网络(例如ResNet或HRNet)计算出的粗略软分割。 这种划分是在分割groud-truh的监督下学习的。
      • 2.通过聚合相应对象区域中像素的表示来估计每个对象区域的表示。
      • 3.使用对象上下文表示(OCR)扩展每个像素的表示。 OCR是所有对象区域表示的加权聚合,其加权根据像素和对象区域之间的关系计算。
    • 网络结构:

      • Backbone:ResNet / HRNet 。
      • OCR head:
        • 整体看来就像attention套娃:
          • 在这里插入图片描述

          • 在这里插入图片描述

          • 多种转换全部是通过不同size的conv实现的。

    • 完整结构详解(其中关键操作和模块名和论文图对应,并给出了维度尺寸):

      • 在这里插入图片描述
    • 代码实现:

      • 主函数:

        • 在这里插入图片描述
      • step2:

        • 在这里插入图片描述
      • step3对应的代码:

        • 在这里插入图片描述

性能:

  • HRNet + OCRNet 是当前分割的SOTA:
    • 在这里插入图片描述

论文笔记-OCR-Object-Contextual Representations for Semantic Segmentation
Object-Contextual Representations for Semantic Segmentation 网络结构示意图
【语义分割】【2019】Object-Contextual Representations for Semantic Segmentation
【语义分割】【总结】Object-Contextual Representations for Semantic Segmentation

  • 4
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值