解耦注意力模块,增益模型精度

作者发现可以将注意力模块分为两项:一个经过白化的成对项解释了两个像素之间的关系,一个一元项代表了每个像素的显著性。我们还观察到,单独训练的两项往往会为不同的视觉线索建模,例如白化的成对项学习区域内的关系,而一元项学习显著边界。然而,这两项在Non-Local块中紧密耦合,这妨碍了每项的学习。基于这些发现,我们提出了解耦的Non-Local块,其中两项解耦以促进所有项的学习。我们证明了分离设计在各种任务上的有效性,例如Cityscapes,ADE20K和PASCAL Context上的语义分割,COCO上的目标检测以及Kinetics上的动作识别。

模型精度增益4.7个点。详情戳here

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值