PseudoSeg: Designing Pseudo Labels for Semantic Segmentation阅读笔记

原文链接:https://arxiv.org/abs/2010.09713

PseudoSeg比较少见地采用了将pixel-level label和image-level label结合在一起的设定,即weakly-and-semi-supervised setting。

PseudoSeg主要的设计目的是改善现有半监督、弱监督方法产生的伪标签质量较差的情况。PseudoSeg的设计融合了半监督学习的一致性损失以及弱监督学习的CAM方法。总的来说,在假定有少量pixel-level labeled data可用的情况下,整个网络采用DeepLabv2-ResNet101的Backbone,并受到三个模块的监督,包括对pixel-level labeled data计算的cross entropy loss、对unlabeled data计算的augmentation-based consistency loss、对image-level labeled data计算的multi-label classification loss。这里的image-level label在semi-supervised setting下是通过pixel-level label转换得到的,而在weakly-and-semi-supervised setting下,可用的image-level label将包括pixel-level labeled data及unlabeled data的全部分类标签。与常规的two-stage CAM方法不同,PseudoSeg使用one-stage CAM方法,即同时训练分类器和分割网络,并将修正后的Grad-CAM用于计算consistency loss。

原文图1所示为PseudoSeg对于无标签数据的训练分支示意图。以半监督学习领域常用的一致性损失为基础,通过将weakly-augmented data的decoder prediction与self-attention Grad-CAM相融合,得到改善的pseudo label,并与strongly-augmented data的decoder prediction算交叉熵损失。此外,在weakly-and-semi-supervised setting下,还会对无监督数据计算分类损失从而改善CAM的质量,这是通过image-level label提升分割模型精度的有效方式。文章通过实验证明了,通过增加unlabeled data的数量或者进一步利用unlabeled data的分类标签都能使半监督分割网络得到有效的性能提升.

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

原文图6所示为self-attention Grad-CAM模块的示意图,方程(3)所示为SGC的数学表达方程。先从Backbone网络的最后两层feature maps拼接而来的Hypercolumn feature开始,分别用两个11卷积对每个区域上的CAM score线性变换,这一操作可以看做核函数思想中先做维度变换再进行相似度求解的操作,两个11卷积分别对应(3)中的Wk和Wv。之后通过矩阵相乘求得Grad-CAM各个区域之间的相似度,经过softmax后得到attention加权系数,再将Grad-CAM处理为HWC的flatten 2D map,利用self-attention weights对各个区域上的CAM score进行propagation得到新的一系列refined CAM scores。这里一个细节是,进行CAM propagation时借用了skip connection的思想,使用跳跃连接避免attention的过度纠正;其次在通过方程(3)表达self-attention时,作者应该出现了笔误,在对hk遍历时,哑元k与先前用于表达11卷积的Wk矩阵的k重复,这两个k此处应没有关系。
在这里插入图片描述
在这里插入图片描述
PseudoSeg的另一个重点在于如何将SGC和weakly-augmented decoder output有效地结合在一起,得到calibrated pseudo label从而提升unlabeled data的监督效果。如原文方程(4)所示,为了避免over-confidence的出现,先将SGC和decoder output使用归一化因子处理,这里的归一化因子与SGC和decoder output的二范数有关,具体地讲,避免over-confidence是指避免softmax后各个类别之间的预测置信度差距过大,因为normalization能够有效避免softmax带来的over-confidence现象。接着,采用加权因子γ对两组soft prediction maps进行加权组合,最后使用sharpen函数进行概率锐化。具体地,sharpen函数其实就是一个由1/T参数控制幂次的幂函数归一化,这里的T通过取小于1的值,那么幂函数的幂次就大于1,这样做就会使得概率分布之间的比例差距进一步扩大。这里使用的思想其实有点类似于batch normalization里面先标准化再反标准化的思想。不过bn里面的反标准化参数是可以学习的,因此可以让神经网络自己学习到最适合的bn程度,但这里的over-confidence suppression和sharpen参数是人为调节的,具体work的程度还有待观察。

  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值