Deep Regression for Monocular Camera-based 6-DoF Global Localization in Outdoor Environments

IROS深度学习定位论文1_三维视点数据增广

论文名称：Deep Regression for Monocular Camera-based 6-DoF Global Localization in Outdoor Environments
论文地址：http://ais.informatik.uni-freiburg.de/publications/papers/naseer17iros.pdf

1 摘要

  在室内或室外场景，机器人精确定位对于安全和自动导航至关重要。值得一提的是，在室外动态场景，要求定位方法精确且鲁棒。单目视觉定位方法相对3D雷达的方法，价格更便宜。近来，基于CNNs的场景识别方法取得了较好的效果。在今天所介绍的论文中，作者提出了一种直接由RGB图像端到端回归相机位姿的模型；同时，提出了一种基于三维视觉的数据增广方式，通过设定的视角阈值和原始图像，生成不同视点的增强图像。实验结果表明，作者提出的方法在定位精度和定位时间上均取得了较好的提升，其中定位时间为：在单NVIDIA-TITAN X GPU上能实现每秒80帧的定位处理。

2 实验结果

2.1 评价指标

  对相机位置和姿态进行分别评价，位置误差采用欧氏距离L2（单位为m），姿态误差采单位为度或弧度。接下来将详细介绍如下：
  （1）位置误差
$$E_q=\sum _{i=1}^N||c_i-c_i^{gt}|{|}_2$$
  （2）姿态误差
$$\begin{gathered} 旋转矩阵：E_r=\sum _{i=1}^N||arccos(\frac{tr(R_{g{t}_i}^{-1}{R}_i)-1}{2})|| \\ 或 \\ 四元数：E_r=\sum _{i=1}^{N}2arccos(|q_{g{t}_i}.q_i|)\frac{180}{\pi } \end{gathered}$$
  其中用旋转矩阵描述姿态误差的公式来源于Rodriguez（罗德里格斯）公式，推导如下：
$$\begin{gathered} \mathcal{R}=cos\theta \mathcal{I}+(1-cos\theta )\vec{n}{\vec{n}}^T+sin(\theta ){\vec{n}}^{hat} \\ \Rightarrow tr(\mathcal{R})=3cos\theta +(1-cos\theta )+0 \\ \Rightarrow tr(\mathcal{R})=2cos\theta +1\Rightarrow \theta =arccos(\frac{tr(R)-1}{2}) \end{gathered}$$

2.2 实验结果

  本文所提出的方法在Cambridge Landmarks（包括Kings College、ShopFacade、St Mary Church、OldHospital四个场景）数据集上进行评测，评价结果如下：

  由实验结果可以看出本文所提出的位姿估计方法在四个场景数据集上均取得了较好的性能。

3 方法

3.1 卷积神经网络结构

  基本网络是VGG16，在第一个全连接层进行分叉，每个分叉包括3个全连接层，同时在全连接层（除最后一层）后面增加dropout层；其中一个分叉预测位置，另一个分叉预测姿态。在进行模型训练时，初始权重参数用Xavier weights进行赋值；并设其方差受输入和输出维度影响，具体如下公式所示：
$$Var(\mathcal{W})=\frac{2}{n_{in}+n_{out}}$$

3.2 损失函数设计

  所提模型的损失函数如下所示，主要包括位置损失和姿态损失；可以利用四元数q和-q表示同一旋转，作者在构建损失函数时选取损失最小的一种形式进行姿态损失的描述。
$$\begin{gathered} \mathcal{L}(\theta )=||p_{g}t-p|{|}_2+\beta \varphi (q_{g}t,g) \\ \varphi (q_{g}t,g)=min||q_{g}t-q|{|}_2,||q_{g}t+q|{|}_2 \\ \mathcal{L}(\theta )=\mathcal{L}(\theta )+\lambda ||\theta || \end{gathered}$$
  其中$p,q$分别代表相机的位置和姿态；$\varphi (q_{g}t,q)$是姿态损失函数；$\beta$是位置损失和姿态损失的权衡因子，$\lambda$是正则因子。

3.3 数据增强之三维视点图像合成

  在已知图像及其位姿条件下，可以将图像像素（2D点）转换至3D坐标点（假设世界坐标原点在相机光心处，所经历的转换过程为从像素坐标系–>归一化平面坐标系–>世界坐标系）。本文作者选取yaw（航向角）和pitch（俯仰角）作为旋转变量（取值为$\pm 5^{\circ }$），位移取值为$\pm 0.5m$；由此可构造4个位姿，即可由一张图像增强出4张图像。增强效果如下：

4 结论与评价

  总体来讲，本论文的创新点很少；但思路很简洁，很适合了解深度学习定位的基础。