【论文笔记】Prior Guided Dropout for Robust Visual Localization in Dynamic Environments(2020)

单目图像的摄像机定位一直是一个长期存在的问题,但其在动态环境下的鲁棒性还没有得到充分的解决。与经典的几何方法相比,现代的基于CNN的方法(如PoseNet方法)表现出了抗干扰和视点变化的可靠性,但仍有以下局限性。首先,前景移动对象没有得到明确的处理,这会导致动态环境中的性能差和不稳定。其次,每幅图像的输出是一个不确定量化的点估计。本文提出了一种通用于现有基于CNN的姿态重构器的框架,以提高其在动态环境下的鲁棒性。其核心思想是一个预先引导的退出模块,该模块可以在训练和引用过程中引导CNNs忽略前景对象。此外,退出模块使得姿势回归器能够输出多个假设,从中可以量化姿势估计的不确定性,并在随后的不确定性感知姿势图优化中加以利用,以进一步提高鲁棒性。在RobotCar数据集上,我们的平均精度达到了9.98m/3.63°,比最先进的方法高出62.97%/47.08%。我们实现的源代码可以在https://github.com/zju3dv/RVL-Dynamic上找到。

 

 

 

 

dropout专门随机删除点(使用prior guided)

 

Recent works have employed CNNs to learn localization and mapping implicitly, but they do not address the dynamic objects issue in the scene and inevitably model them as part of the map,

 

主要贡献是三方面:

  1. prior guided dropout,

  2. composite self-attention

  3. pose refine- ment with uncertainty-aware PGO (pose graph optimiza- tion)(目的是为了移除懂态地标,保留可靠的物体)

 

3.1. Prior Guided Dropout 

由于可移动车辆在视图中占据很大一部分,并且始终保持在图像序列中,如果不提供特殊的监视,网络会很容易将它们视为地标。我们认为,应该引导神经姿势回归器更多地关注场景的不变特征,并降低污染特征的权重。

More specifically, the dropout module generates a random number x for each pixel in the input image and set the pixel value as zero if x is smaller than a predefined threshold T .

 

这里 drop out的confident map是从 fast-r-cnn中获取的mask,这样每个像素点就有了权重,将权重小于阈值的像素直接归0

 

3.2. Composite Self-Attention Module

在空间注意块中,如图1所示,网络自发地从输入特征映射学习1信道空间权重映射,然后在空间上重新加权输入特征以生成最终输出。这种机制赋予了模型自动选择有价值地点的能力。

这里就是引入了SE block 重新赋值权重

 

  

同时使用了空间attention和channel attention(空间就是不同的scale,channel可以认为是每个像素)一个是1*1*c一个是h*w*1,这样的一个混合se block

 

论文中引用了:https://blog.csdn.net/yuzhijiedingzhe/article/details/78124752   Squeeze-and-Excitation 可以自适应的抑制无用的通道,激励有用的特征通道

 

SE-Block 主要是考虑到了不同通道之间所占的重要性可能不一样,而以前的网络中并没有考虑到这一点,而是把所有通道的重要性当成一样来处理的。

不同的通道的重要性是通过学到的一组权值来scale的,相当于经过加入权值进来之后,对原来的feature的一个重新的标定,具体的结构如下: 

 

 

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值