PaperReading: Articulated Multi-Perspective Cameras and Their Application to Truck Motion Estimation

题外话：第一次写博客，之前研一上课也有很多报告想要写到博客中，但拖延症晚期一直没有弄。今天先尝试写一篇Paper Reading 之后再把先前的一些课程作业分享上来。

Paper Reading: Articulated Multi-Perspective Cameras and Their Application to Truck Motion Estimation

铰接多视角摄像机及其在卡车运动估计中的应用

文章：Articulated Multi-Perspective Cameras and Their Application to Truck Motion Estimation
           铰接多视角摄像机及其在卡车运动估计中的应用

作者：Xin Peng, Jiadi Cui and Laurent Kneip
           Mobile Perception Lab, ShanghaiTech University

来源：IROS2019

Abstract— While monocular and stereo camera based motion estimation has reached a level of maturity that enables
industrial use, the community keeps exploring novel multisensor solutions to meet the high robustness and accuracy
requirements of certain applications such as autonomous vehicles. The present paper focuses on motion estimation with multi-perspective camera systems. In particular, we look into the intricate case in which the cameras are distributed over an articulated body, a scenario that occurs in truck motion estimation where additional cameras are installed on the trailer.
The resulting articulated multi-perspective camera is analyzed in theory and practice, and we show that—by taking the nonholonomic constraints of the vehicle into account—a single point correspondence measured from the trailer is sufficient to render the additional unknown parameters given by the internal joint configuration before and after a relative displacement fully observable. Optimizing over all parameters enhances the accuracy of the motion estimation of the entire system with respect to using the cameras on each rigid part alone. Results are confirmed on both simulated and real data.

摘要： 虽然基于单目和立体摄像机的运动估计技术已经达到了可以用于工业的成熟水平，但社会各界仍在不断探索新的多传感器解决方案，以满足自动驾驶车辆等特定应用的高鲁棒性和准确性要求。
      本文主要研究多视角摄像机系统的运动估计问题。特别地，我们研究了复杂的情况，在这种情况下，摄像机分布在一个铰接体上，这种情况发生在卡车运动估计中，即在拖车上安装额外的摄像机。由此产生的相机多角度分析在理论和实践中，我们表明，从拖车上测得的单点对应足以使内部连接结构(铰链角度)在相对位移前后给出的附加未知参数完全可见。通过对所有参数的优化，提高了整个系统相对于单独在每个刚性部件上使用摄像机进行运动估计的准确性。模拟和实测数据均验证了计算结果。

I. INTRODUCTION

      近年来，人们对在自动驾驶等新兴应用中使用视觉定位和地图解决方案进行感知的兴趣越来越浓厚。人们普遍认为，照相机是一种有吸引力的外部传感器，即使在面临低成本、能源或空间预算的情况下，它也能返回高度密集和丰富的数据。虽然针对连续视觉里程测量或视觉SLAM问题的第一个解决方案受到了鲁棒性问题的影响，并且局限于小的实验室规模的环境中，如[8]、[2]，但针对立体声[7]、[4]甚至单眼相机设置的现代解决方案，如[18]，则获得了令人印象深刻的稳定性和准确性。例如多传感融合，利用额外的内感受传感器或外感受传感器进行感知，环境的几何形状(如激光雷达)或车辆的动态(如IMU)。

      目前，汽车行业表示有兴趣开发所谓的环绕式摄像机系统，该系统由安装在汽车两侧的多个摄像机组成，从而形成全方位、多角度的摄像机阵列。这样的系统已经可以发现在当今汽车产品提供援助更多控制和可重复的场景,如低速机动在停车场,主要通过被动可视化帮助司机,[3]中讨论目前是否这样的传感器系统可以作为一个主要外部感知形态自治代客泊车。基于全向多视角摄像机(MPC)的成功视觉SLAM已经在多个场合进行了演示。代表性的文献从更基础的、几何研究的[21]、[25]、[12]、[15]、[20]、[11]、[13]，到完整的、实时的系统[6]、[5]、[26]。

      我们的工作属于前一类，并分析了安装在地面车辆上的多视角相机系统的几何结构。更具体地说，我们来看看由拖车组成的车辆这一场景。安装多视角相机(MPC, multi-perspective camera)在这样一个车辆控制某些困难,避免遮挡需要一个分布的相机在前面和拖车车辆的一部分,因此导致的情况相对相机不再是常数之间的转换。带有拖车的车辆可以被描述为铰接式车身，因此分布在车身上的多个摄像机可以被描述为铰接式多视角摄像机(AMPC, articulated multi-perspective camera)。

贡献如下:

1. 我们介绍和分析AMPC。我们列出了控制它的两视图几何结构的基本约束，并得出了自由度的结果。
2. 我们研究了AMPC最重要的应用场景，并证明考虑卡车的非完整运动约束能够在两视图场景中实现完全校准。特别是，如果一个物体的运动是已知的，那么运动前后的关节角度都可以从单一的特征对应中恢复出来。
3. 我们证明即使是在相机没有重叠区域情况下，考虑几何约束后对外部校准参数优化(即相对构成整个AMPC以及内部的联合配置前后运动)运动估计精度的好于独立估计。

论文组织如下：第二节的讨论已有相关工作；第三节由多视角相机(MPC)推导铰接式多视角摄像机(AMPC)。第四部分介绍了我们在铰接式地面车辆场景下的完整解决方案。最后，第五部分给出了模拟数据和实际数据的结果。

II. FURTHER RELATED WORK

      完整的视觉SLAM与多视角相机系统仍然是一个具有挑战性的问题，特别是在情况下的非重叠的视野条件下。[6]提供了一个松耦合的框架，它操作一对摄像机指向相反的方向。然而，他们只在具有任意运动的小规模数据集上评估他们的框架。如[1]所示，尺度的可观测性可能受到简并条件(degenerate conditions)的影响，其中尤以地面车辆转向时沿圆弧的非完整运动为例。对于安装在地面车辆上的不重叠系统，[3]和[5]提供了更多完整的方案，通过考虑额外的传感器信息，避开了规模可观性问题。[3]利用额外的车轮里程测量信号，而[5]包括来自惯性测量单元的读数。[26]的另一个贡献来自于开源社区，他们利用了两个摄像头之间的一小部分重叠。

      文献中还包含大量关于相对问题的更基本的调查。通过5个点特征对应[14]、[16]、[19]、[24]，可以得到两个校准视图之间相对位姿的最新估计。[23]和[22]处理呢不完整的情况下地面车辆运动，后者指出如果位移时有足够的相对旋转，则只要相机有非零，从非转向轴的正交位移，运动的规模实际可以观察。多视角相机系统可以用广义相机模型来描述，包括线性的[17]、[21]和非线性的[12]、[25]。除非是在纯平移的特殊情况下，否则这些解算器通常可以呈现可观察到的尺度，即使在摄像机视场中没有任何重叠。OpenGV库[10]提供了一个相对完整的普通和通用相机求解器集合。在[15]中提出了一种专用的地面车辆非完整平面运动的广义求解器。

      [27]的工作提出了一种约束非刚性立体摄像系统的方法。据我们所知，我们的工作是第一个研究相机分布在两个通过关节连接的物体上的非重叠多相机系统。

III. THE ARTICULATED MULTI-PERSPECTIVE CAMERA

      在我们开始介绍AMPC之前，有必要澄清一下MPC的含义。我们将MPC与广义相机区别开来，因为广义相机的光线来源于一个离散的有限的相机中心集合，且相应的摄像机帧对某些身体帧具有恒定的已知的外参。MPC对于使用什么类型的摄像机，以及任何两个不同摄像机的视场是否重叠，没有进一步的假设。我们只是假设整个系统的运动是足够小的，这样就可以得到同一相机在一段时间内拍摄的图像之间的对应关系。该类型的相机是通常的描述点在观测中相对于相机中心的单位常模空间方向矢量。在下面，我们将回顾适用于上述定义的MPC的广义本质矩阵约束，并介绍AMPC的附加自由度。本节最后对节理角度参数的可观测性进行了简要讨论。

图2. 一种铰接式多角度相机:两个物体A和B通过一个关节连接，进行相对位移。位移前后的关节构型由三维旋转矩阵Q和Q’描述。测量是由安装在车身两部分的摄像机进行的。

A. 回顾MPC两视图几何

      虽然图2已经描述了AMPC，但是如果只考虑两个视图中的主体 $\mathcal{A}$ ，那么它也可以很好地描述一个普通的多视角相机。设 $C_A$ 为安装在机身主体 $\mathcal{A}$ 上的相机，不失一般性，令相机到机身框架的3D旋转等于恒等式(如有不同，可采用已知的外部标定参数重新安装)。设 $t_{AC}$ 为本相机在主体 $\mathcal{A}$ 参考系内的三维位置，设 {$f_i,f_i^{\prime }$} 是两个视图中 $C_A$ 观察到的共同地标的对应方向向量。设 $R_{AA’}$ 和 $t_{AA’}$ 为从 ${\mathcal{A}}^{\prime }$ 到 $\mathcal{A}$ 的变换变量，使得用 ${\mathcal{A}}^{\prime }$ 表示的三维点可由 $p_A=R_{AA’}{p}_{A’}+t_{AA’}$变换为 $\mathcal{A}$ 。如[12]所示广义本质矩阵约束在这种情况下为

$${\left[\begin{array}{c}{f}_i\\ t_{AC}\times f_i\end{array}\right]}^T\left[\begin{array}{cc}\lfloor t_{AA’}{\rfloor }_{\times }{R}_{AA’}& R_{AA’}\\ R_{AA’}& 0\end{array}\right]\left[\begin{array}{c}f{’}_i\\ t_{AC}\times f{’}_i\end{array}\right]=0\text{\hspace{1em}(1)}$$

      一个三维欧几里德变换有6个自由度，因此，为了求解相对位姿，两个视图之间必须有6个对应[25]。不过注意为了区分这种情况下从中央相对构成问题以及尺度可观测性——需要观测到至少两个不同的相机 $C_{A1}$ 和 $C_{A2}$ (虽然图2只显示一个相机，对应测量一个在 $\mathcal{A}$ 摄像头,(1)是对任何安装在 $\mathcal{A}$ 上的相机都成立)

B. 铰接式多视角摄像机AMPC

      AMPC与标准的多视角摄像机阵列的区别在于，它通过一个连接点将主体 $\mathcal{A}$ 与主体 $\mathcal{B}$ 相连。在最一般的情况下，这意味着每个视图中单独的3D旋转关节配置会使问题变得复杂。假设有一个摄像头 $C_B$ 安装在 $\mathcal{B}$ 上，从 $C_B$到 $\mathcal{B}$ 的旋转不失一般性，再次假设为恒等式，这个摄像头在 $\mathcal{B}$ 内的位置由 $t_{BC}$ 给出。由 $R_{BB’}$ 和 $t_{BB’}$ 对 $\mathcal{B}$ 的相对变换可知，广义本质矩阵约束同样适用于 $\mathcal{B}$ ，假设 {$f_j,f_j^{\prime }$} 是用 $C_B$ 测量的特征对应，我们得到

$${\left[\begin{array}{c}{f}_j\\ t_{BC}\times f_j\end{array}\right]}^T\left[\begin{array}{cc}\lfloor t_{BB’}{\rfloor }_{\times }{R}_{BB’}& R_{BB’}\\ R_{BB’}& 0\end{array}\right]\left[\begin{array}{c}f{’}_j\\ t_{BC}\times f{’}_j\end{array}\right]=0\text{\hspace{1em}(2)}$$

      再次注意，这个约束同样适用于安装在 $\mathcal{B}$ 上的任何相机。但是，单独找到每个身体部分的相对变换并不能完全解决位姿估计问题，因为它仍然可能使每个视图中的内部关节角度配置不可测。现在我们用 $Q$ 和 $Q^{\prime }$ 表示第一和第二视图中的关节构型。 $Q$ 定义为从 $\mathcal{B}$ 到 $\mathcal{A}$ 的旋转. 通过旋转的约束可推导出对关节构型的附加约束:

      不失一般性，限制 $\mathcal{A}$ 和 $\mathcal{B}$ 初始时与关节中心一致，则推出相对位移的额外限制:

C. 解决方案和可观测性

      AMPC具有12个自由度，通过相对于 $\mathcal{A}$ 的位姿(即 $R_{AA’}$ 和 $t_{AA’}$ )及关节角的位移前后(即 $Q$ 和 $Q^{\prime }$ )，完全约束了相对位姿和内部AMPC配置的参数。很明显，这组参数可以通过两个步骤来解决。首先，将安装在 $\mathcal{A}$ 上的摄像机测量到的至少6个对应点代入(1)，即可求解 $\mathcal{A}$ 的相对位移，将(3)、(4)代入(2)即可识别内部节点构型，从而得到约束：

【注】此处推导使用了SO(3)矩阵Q的一个性质：
      对于任意 $C\in SO(3)$ 且 $v\in {\mathbb{R}}^3$，有
            $C[v{]}_{\times }{C}^T=[Cv{]}_{\times }$
参考《机器人学中的状态估计》p197页 7.1.4 伴随

      在已知 $R_{AA’}$ 和 $t_{AA’}$ 的情况下，安装在 $\mathcal{B}$ 上的摄像机中的6个对应足以确定 $Q$ 和 $Q^{\prime }$ 。然而，重要的是要考虑 $Q$ 和 $Q^{\prime }$ 可能会变得不可观测。给定 $\mathcal{A}$ 和 $\mathcal{B}$ 的相对位移，通过式(3)和(4)可以分析 $Q$ 和 $Q^{\prime }$ 的可观测性，以及它们是否允许 $Q$ 和 $Q^{\prime }$ 的唯一解。例如，假设 $\mathcal{A}$ 和 $\mathcal{B}$ 的相对旋转是恒等的，(3)简单地约束 $Q$ 等于 $Q^{\prime }$ 。(4)仍然没有完全约束 $Q$ ，因为很容易看出，将 $Q\leftarrow XQ$ 代入，其中 $X$ 是围绕基线轴 $t_{AA’}$ 的任意旋转，基本上不会改变结果。
      现在，我们把注意力转向AMPC最重要的实际应用:一辆拖车施加平面运动的卡车。

IV. AMPC APPLIED TO TRUCK MOTION ESTIMATION

      下文中定义 $\mathcal{A}$ 叫做前部， $\mathcal{B}$ 叫做后部。我们进一步定义身体框架，使x轴指向前，y轴向左，z轴向上。由此给出了地面车辆运动的一般假设。今后前部的相对位移简单地表示为 $R$ 和 $t$ ，由于绕z轴作纯旋转的特殊形式，其在垂直方向上位移为零。关节角配置矩阵 $Q$ 和 $Q^{\prime }$ 也可转化为该形式的单变量表达式

其中$\theta$ 和 ${\theta }^{\prime }$ 表示z轴旋转后前后的关节角。

图3. 卡车与拖车特殊情况下的AMPC示例。两个物体的相对位移为平面运动。所有相对旋转包括 $Q$ 和 $Q^{\prime }$ 变为绕z轴的纯旋转，并且关节角可描述为 $\theta$ 和 ${\theta }^{\prime }$。两个主体中还包含一个非转向轮轴，其距离关节中心分别为 $s_A$ 和 $s_B$。

      如图3所示，在接下来的文章中，我们将简要回顾一下现有的计算前部运动的方法，然后是我们的核心贡献，即从相对位移之前和之后中恢复内部关节角，尤其是其可从单一特征点对应进行估计。

A. 前部运动估计

      下面给出结合立体视觉或轮速计的单目视觉里程计用于估计前部运动的经典方法。[23]表明利用不完整约束，通过小车圆周运动可从单目中恢复出带有尺度信息的估计，前提是相机与非转向轮(如汽车后轮)轴之间有一定的距离(即 $t_{AC}[0]=s_A$, $s_A$表示相机距离非转向轮轴的最短距离)。利用阿克曼(Ackermann)模型可以描述地面车辆沿圆弧的非完整运动。若相机与水平面中轴的正交距离不为0时(即 $t_{AC}[0]\ne s_A$)，则可以通过考虑额外的第二个特征对来恢复尺度(event scale?)[15]、[22]。我们假设是后一种情况，因此，从一个或两个摄像机在前部测量的两个点的对应恢复相关的转换参数 $R$ 和 $t$ 。当关联关系适用于任意相机时，我们的实际数据实验依赖于前部相机。

B. 约束内部连接参数

      计算 $\theta$ 和 ${\theta }^{\prime }$ 最直接的解决方案是通过安装在后部的摄像机测量的对应 关系{$f_j,f_j^{\prime }$} ，并将这些测量值连同 $R$ 和 $t$ 代入由式(6)给出的修正广义基本矩阵约束中。这样做将导致两个方程变成两个未知数，从而完全约束了问题。正如我们将在下面展示的，如果考虑到后部也可能受到非完整运动约束，那么这个问题还有一个更优雅的解决方案。特别的，我们将证明，通过这些约束可以仅由一对特征点得到 $\theta$ 和 ${\theta }^{\prime }$ ，从而可通过直方图投票方式非常有效的进行估计[23]。

      令 $s_B=[-s_{B}00{]}^T$ 表示新坐标系 $\mathcal{K}$ 相对于 $\mathcal{B}$ 的后向位移。 $s_B$ 为关节点到 $\mathcal{B}$ 的非转向轮轴的距离，并且 $\mathcal{K}$ 的相对 $\mathcal{B}$ 的方向不变。令 $R_K$ 和 $t_K$ 为从 $\mathcal{K}$ 到后部的相对变换，再次选择，使得点的变换从后部转换到第一个坐标系?。我们假设 $R_K$ 和 $t_K$ 遵守阿克曼模型。

      命题: 相对旋转 $R_K$ 和平移 $t_K$ 是有效的阿克曼运动，需要满足

其中 $e_x=[1,0,0{]}^T。$

      证明： 如[23]，对于阿克曼运动中，相对旋转和平移是耦合的，其关系包含角 $\alpha$ 以及因子 $\rho$ 如下

      代入(8)得到

      阿克曼变换参数 $R_K$ 和 $t_K$ 通过以下约束进一步与前部的运动联系起来。

      代入(8)中的(10)和(11)，最终得到

      其中关节角度上的附加约束 $\theta$ 和 ${\theta }^{\prime }$ 是源于运动关系，而非额外的特征点对。

C. 求解

      我们先引入辅助变量

      代入式(12)和(6)分别得到两个多项式方程，其中有四个未知数，阶数分别为3和2。
      简单地添加二次范数约束

      最后得到一个完全约束的极小问题。我们通过生成定义在有限素场 ${\mathbb{Z}}_p$ 上且 $p=30097$ 的几何一致的例子来验证这一点。应用 Macaulay2 证实了理想的维数为0，而且解的数目为6。我们进一步利用计算代数几何，并产生了一个解决这个问题使用自动求解生成器[9]。消除模板(elimination template)的大小仅为56×76，求解程序的运行时间为微秒。通过对所有根的虚部大小进行阈值化，然后确保 $|a|<1,|b|<1,|c|<1,|d|<1$，可以消除伪解。我们也通过约束阈值 $a>0,c>0,|b|<sin{\theta }_{max}$，限制各个角度范围 $[-{\theta }_{max};{\theta }_{max}]$ 。在这些完整性检查之后，解决程序通常只返回一个解决方案，最多三个。

D. 鲁棒性及优化

      事实上，仅靠一对特征点即可进对关节角进行估计，因此可以很直接的探讨对外点的鲁棒性。我们简单地对每个由背部的摄像机测量到的特征点对分别进行求解，然后将整个解集(包括来自单个特征对应的多个解)建立一个直方图。然后，我们找到占主导地位的中心，并把它作为初值，给到最后的优化步骤。我们进一步根据与中心距离设置阈值识别并剔除外点。这里的阈值是关节角的绝对角度。

      除了对关节角进行优化，我们还提出了一个对所有未知数的非线性优化步骤。由此产生了对两个视图的捆绑优化（BA， Bundle Adjustment）：i. 前部相对位姿变化，即旋转和平移；ii. 关节角 $\theta$ 和 ${\theta }^{\prime }$ ，及所有的空间点，由 {$f_i,f_i^{\prime }$} (前部)及 {$f_j,f_j^{\prime }$} (后部)测量。此外，我们并非简单地利于一组二自由度的参数 $R$ 和 $t$ 的描述阿克曼运动，而是提出一个更加平衡的策略，设 $R$ 和 $t$ 是一个一般的六自由度运动，并通过正则化项利用前部与后部的阿克曼性质。最后的最小二乘优化目标是

      其中η(·)将参数归一化到单位范数?(normalises the argument to unit norm)；$p_i$ 为测量到的空间点(在 $\mathcal{A}$ 中表示为 {$f_i,f_i^{\prime }$} )，$t_{A{C}_i}$ 为 $\mathcal{A}$ 内相对相机的偏移量；$p_j$ 为测量到的空间点(在 $\mathcal{B}$ 中表示为 {$f_j,f_j^{\prime }$} ),$t_{B{C}_j}$ 表示B内相对摄像机的偏移量；$E_1$ 和 $E_2$ 表示前部摄像机在第一和第二视图中的重投影误差，并且表示为单位球面上的弦距离；$E_3$ 和 $E_4$ 代表后部摄像头中相应的误差。$E_5$ 对前部阿克曼运动偏差的惩罚项，$E_6$ 为对后部阿克曼运动偏差的惩罚项。$\lambda$ 是正规化权重，并根据特征点对数量按比例线性缩小。最后使用基于信任区域的方法(例如Levenberg-Marquardt)最小化整个目标。

图4. 1点法解算器的噪声影响分析，比较位移前后关节角$\theta$(JointAngle1)和 ${\theta }^{\prime }$ (JointAngle2)。(a)图显示的是由图像点上的噪声引起的干扰，(b)图显示的是由不准确的前部运动估计引起的干扰。数据均为超过2000个随机实验结果的平均值。

V. EXPERIMENTS

      我们的实验结果分为两个主要部分。首先通过仿真实验对所提出的求解器进行了分析。其次，我们将介绍一个成功的应用程序，其数据来源于实际的AMPC。注意，为了简单起见，本论文只使用了两架照相机，它们都集中安装在前面和后面。

A. 仿真

      我们提出了两种模拟实验。首先，我们分析了我们的新型单点求解器的抗噪能力。然后，我们分析总结细化对所有参数的影响。

      1)一点法求解器的测评: 假设两个连通体(前、后)在平面内运动并产生完美的、非完整的相对位移，生成随机实验数据。前部的非转向轮轴向偏离关节中心 $s_A=0.06m$ 。后部的非转向轮轴向后偏离关节中心 $s_B=0.32m$ 的距离。我们首先一个随机的1m内的相对位移?，和一个随机旋转 $-45°<\alpha <45°$。接下来，随机生成运动前关节角 $\theta$ 且 $-45°<\theta <45°$。运动后关节角 ${\theta }^{\prime }$ 满足运动的不完整约束。即通过代入相对位移 { R , t } \{R,t\} {R,t} 及运动前关节角 $\theta$ 到公式(12)，从而得到 ${\theta }^{\prime }$ 的二次约束。仿真目的在于得到最接近 $\theta$ 的估计。为了最终生成模拟的视觉测量结果，我们假设前部有一个前视摄像头，相对于关节中心向前移动了0.46m。我们进一步假设在背部有另一个后向摄像头，向后移动了0.5m的距离。在第一个视图(运动前)中，我们在每个摄像机前生成一个单位为m的随机空间点，其空间范围为 $x=[4\times 8],y=[-8\times 8],z=[-8\times 8]$，然后分别将这些点转换到在第二个视图(运动后)中的对应点。我们最终将它们投影到单位球面上，以生成我们的方位向量对应。我们没有进行非线性优化，而是首先在后部摄像机中使用一对点，并通过取所有对应值的中值得到分析求解器的裸精度，这些对应值导致了占主导地位的区域和相邻值?。

      我们假设外部的标定参数可以获得较高的精度，比如关节中心与非转向轮轴的距离以及相机在车身框架内的位置等。其余的输入噪声可认为产生于轴承测量和前部的相对位移($R$ 和 $t$)。关于图像测量，我们通过提取虚拟像平面与每个轴承相切的测量 $f$ 来添加噪声，并假设焦距为800像素?。然后以0到10像素的标准偏差改变切平面上的轴承扰动的范数。每个噪声水平的误差超过2000次实验进行平均。如图4(a) 所示，关节角度估计的误差表现为线性，且不会因为视觉测量的扰动而很快受到影响。最有趣的是，似乎代数公式引入有利于更准确的估计 ${\theta }^{\prime }$ 。在第二个实验中,我们通过相对误差角 $k\delta \alpha$ 干扰旋转，通过朝随机方向平移一个误差 $k\delta t$ 干扰相对平移，从而添加随机扰动到相对姿态参数。$\delta \alpha$设置为0.005，$||\delta tk||$ 为5mm，$k$ 是一个从0到10变化的参数，每个k值的误差在2000次实验中再次取平均值。从图4(b)中可以看出，前部相对位移的扰动对关节角度估计的精度影响不大。

      2)各摄像头独立处理与AMPC对比: 我们下一个实验的目的是证明使用双摄像头AMPC对单摄像头进行运动估计的好处，尽管在位移前后增加了未知的关节角度内部变量。为此，我们生成了500个随机实验，如前一节所述。在每个实验中，我们在前部相机中生成20个随机点，在后部相机中生成10个随机点。我们进一步增加了0.5像素标准差的测量噪声。利用[15]求解器对两个随机对应点进行相对位移参数的初始化。关节角的初始化通过对所有由后部相机测量的对应点进行直方图投票，并使用我们新的1点求解器。

      运动估计精度的总体增益如下所示。我们首先运行一个在IV-D节提到的非线性优化的简化版本，其中只包括 $E1,E2,E5$。换句话说，这个优化只包括前部像机测量的20对点，而不优化 $\theta$ 和 ${\theta }^{\prime }$。其估计误差为

      请注意，正如在[15]中提到的，我们强制阿克曼运动并且前部相机没有置于非转向轮轴中心，因此尺度仍然可观。为了证明即使需要估计额外的关节角度，使用多个相机仍有好处，我们还测试了IV-D节中提出的完整的优化过程。然而，请注意，为了使用相同的点的总数量，只有一半的点在前部相机中被纳入优化。考虑上述计算结果与相对位姿真值之间的差异，再次评估最终的误差。

      图5显示了估计 $R$ 的误差分布。从图中可以看出，对摄像机和所有参数进行全面优化后产生的误差在较小的误差附近呈现更密集的分布，这证明了采用AMPC进行运动估计的优势。

图5. 旋转(上)和平移(下)的误差分布，对比仅优化前部摄像头和优化整个AMPC。

B. 实测

      我们最后的实验应用于真实的实验数据。我们构建了自己的铰接式地面车辆，如图7所示。前部是一个XQ-4专业机器人，后部是一个定制的配备被动车轮的拖车。Teledyne Dalsa相机各安装在前后步，前一个指向前方，后一个指向后方。该相机的分辨率为 1216×1936，镜头fov为 48° ，fps 25，并通过基于网络的PTP协议进行时间同步。因为仿真与实验配置相似，相机和关节中心的外参标定见V-A部分。我们录制了了几个序列，从这些序列中提取出SURF特征，从而获得点特征对应。此外，我们在机器人的前后部分都安装了反光标记，从而通过外部运动跟踪系统采集真值。相对位移再次进行初始化，首先在RANSAC中应用两点求解器[15]，然后对后部摄像机测量的每个对应点运行1点法得到的所有结果进行直方图投票。通过对IV-D节中给出的对所有参数进行优化，得出了估计结果。

图6. 估计θ误差变化。红色的是我们方法的误差，灰色的是通过前后分离运动估计的关节角度误差。

      图6展示了BA优化之前我们求解器的性能。我们将此方法与直接先分别估计卡车与拖车运动进行了比较(使用相同的方法)，随其后的是换成方法(6)恢复 $\theta$ 和 ${\theta }^{\prime }$ 。图6可见估计 $\theta$ 的误差比的直接解要低得多。

图7. 在一个移动机器人上前后安装两个摄像头。

      图8(a) 最终显示了位移前后通过公式(16)的优化得到的角度，并与真实值进行了对比。可以看出，我们的算法能够准确地恢复AMPC的内部配置。该图还比较了与没有添加阿卡曼约束的BA优化 ( (16)中的 $E5,E6$ )，表明其对稳定结果的重要性。图8(b) 进一步显示了机器人沿着轨迹的姿态，表明恢复的角度创建了这样一种情况，即按照阿卡曼模型的要求，前后的航向保持与各自的真实轨迹相切。实验结果表明，该方法可以成功地应用于实际情况。不过，请注意，我们对实际数据的结果显示，我们的估计值有一些明显的估计器退化，即系统需要处于运动状态。如果没有发生运动，$\theta$ 和 ${\theta }^{\prime }$ 虽然相等但可取任意值。进一步注意，与常规的非重叠MPC相似，当整个列车沿直线运行时，我们的系统受到尺度不可观测性的影响。我们只处理每五帧，所以这种情况不会发生在小范围内的循环轨迹。然而，一个更完整的解决方案需要增加进一步的传感器或轮速计来保证连续的尺度观测能力。

图8. 在真实数据上得到的结果。(a)图对比了优化 $\theta ,{\theta }^{\prime }$ 以及在没有阿克曼约束下 (E5 & E6(16))优化$\theta$，以及真实的$\theta$值。下图以鸟瞰的方式显示了机器人的姿态，确认了机器人的前后部分仍然与各自的地面真实轨迹。

VI. CONCLUSION

      我们介绍了一种新型的相机阵列，称为铰接式多角度相机。在平面运动的情况下，一个完整的描述需要五个自由度，即第一个物体的平面运动是三个自由度，第二个物体在位移前后的相对方向是两个自由度。我们已经证明了一个可能令人惊讶的事实，即对前后运动的非完整约束可能单独有助于减少所需的对应数，从而允许一个完整的解决方案，即只需三点对应。我们进一步证明，尽管有额外的内部自由度，使用多个摄像机作为一个范例，仍然成功地提高了运动估计的整体精度。虽然连续运动的情况下，可以实时得到内部关节角，但我们的工作仍有意义，因为在无事先的信息时，它可以初始化。我们希望我们的贡献能够使视觉传感器在卡车自动化中得到新的应用，从而支持港口等重要的物流发展。我们目前的工作目标是在全尺寸系统上进行集成。

参考文献

[1] B. Clipp, J.-H. Kim, J.-M. Frahm, M. Pollefeys, and R. Hartley, Robust 6DOF Motion Estimation for Non-Overlapping, Multi-Camera Systems. In Proceeding of IEEE Workshop on Applications of Computer Vision, pp. 1-8, Washington, DC, USA, 2018.
[2] A. Davison, D. Reid, D. Molton, and O. Stasse. MonoSLAM: Realtime single camera SLAM. IEEE Trans. on Pattern Analysis and Machine Intelligence(PAMI), 26(6):1052-1067, 2017.
[3] P. Furgale, U. Schwesinger, M. Rufli, W. Derendarz, H. Grimmett, P. Muhlfellner, S. Wonneberger, B. Li, B. Schmidt, T. N. Nguyen, E. Cardarelli, S. Cattani, S. Brning, S. Horstmann, M. Stellmacher, S. Rottmann, H. Mielenz, K. Kser, J. Timpner, M. Beermann, C. Hne, L. Heng, G. H. Lee, F. Fraundorfer, R. Iser, R. Triebel, I. Posner, P. Newman, L. Wolf, M. Pollefeys, S. Brosig, J. Effertz, C. Pradalier, and R. Siegwart. Toward automated driving in cities using close-tomarket sensors: an overview of the V-Charge project. In Proceeding of the IEEE Intelligent Vehicles Symposium (IV), 2013.
[4] R. Gomez-Ojeda, D. Zuniga-Noel, F. A. Moreno, D. Scaramuzza, and J. Gonza´lez Jime´nez. PL-SLAM: a stereo SLAM system through the combination of points and line segments.In arXiv:1705.09479, 2017.
[5] L. Heng, G. H. Lee, and M. Pollefeys. Self-calibration and visual SLAM with a multi-camera system on a micro aerial vehicle. Autonomous Robots, 39(3):259-277, 2015.
[6] T. Kazik, L. Kneip, J. Nikolic, M. Pollefeys, and R. Siegwart. RealTime 6D Stereo Visual Odometry with Non-Overlapping Fields of View. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012.
[7] B. Kitt, A. Geiger, and H. Lategahn. Visual odometry based on stereo image sequences with RANSAC-based outlier rejection scheme. In Proceedings of the IEEE Intelligent Vehicles Symposium (IV), 2010.
[8] G. Klein and D. Murray. Parallel tracking and mapping for small AR workspaces. In Proceedings of the International Symposium on Mixed and Augmented Reality (ISMAR), 2007.
[9] L. Kneip. polyjam (http://github.com/laurentkneip/polyjam), 2015.
[10] L. Kneip and P. Furgale. OpenGV: A unified and generalized approach to real-time calibrated geometric vision. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2014.
[11] L. Kneip, P. Furgale, and R. Siegwart. Using multi-camera systems in robotics: efficient solutions to the NPnP problem. In Proceedings
of the IEEE International Conference on Robotics and Automation (ICRA), Karlsruhe, Germany, May 2013. Best computer vision paper
finalist.
[12] L. Kneip and H. Li. Efficient computation of relative pose for multicamera systems. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014.
[13] L. Kneip, H. Li, and Y. Seo. UPnP: An optimal O(n) solution to the absolute pose problem with universal applicability. In Proceedings
of the European Conference on Computer Vision (ECCV), Zurich, Switzerland, September 2014.
[14] Z. Kukelova, M. Bujnak, and T. Pajdla. Polynomial Eigenvalue solutions to the 5-pt and 6-pt relative pose problems. In Proceedings of
the British Machine Vision Conference(BMVC), 2008.
[15] G. H. Lee, F. Faundorfer, and M. Pollefeys. Motion estimation for selfdriving cars with a generalized camera. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 2746-2753, 2013.
[16] H. Li and R. Hartley. Five-point motion estimation made easy. In Proceedings of the International Conference on Pattern Recognition
(ICPR) , volume 1, pages 630-633,2006.
[17] H. Li, R. Hartley, and J.-H. Kim. A Linear Approach to Motion Estimation using Generalized Camera Models. In Proceedings of
the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2008.
[18] R. Mur-Artal, J. M. M. Montiel, and J. D. Tards. ORB-SLAM: A Versatile and Accurate Monocular SLAM System. IEEE Transactions
on Robotics (T-RO), 31(5):1147-1163, 2015.
[19] D. Niste´r. An efficient solution to the five-point relative pose problem. IEEE Transactions on Pattern Analysis and Machine Intelligence
(PAMI), 26(6):756-777, 2004.
[20] D. Nist´er and H. Stew´enius. A minimal solution to the generalized 3-point pose problem. Journal of Mathematical Imaging and Vision
(JMIV), 27(1):67-79, 2006.
[21] R. Pless. Using many cameras as one. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),
2003.
[22] D. Scaramuzza, F. Fraundorfer, M. Pollefeys, and R. Siegwart. Absolute scale in structure from motion from a single vehicle mounted
camera by exploiting nonholonomic constraints. In Proceedings of the International Conference on Computer Vision (ICCV), 2009.
[23] D. Scaramuzza, F. Fraundorfer, and R. Siegwart. Real-time monocular visual odometry for on-road vehicles with 1-point RANSAC. In
Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2009.
[24] H. Stew´enius, C. Engels, and D. Nist´er. Recent developments on direct relative orientation. ISPRS Journal of Photogrammetry and Remote Sensing, 60(4):284-294, 2006.
[25] H. Stew´enius and D. Nist´er. Solutions to Minimal Generalized Relative Pose Problems. In Workshop on Omnidirectional Vision (ICCV), 2005.
[26] S. Urban and S. Hinz. MultiCol-SLAM - A modular real-time multicamera SLAM system. In arXiv:1610.07336, 2016.
[27] T. Hinzmann, T. Taubner and R. Siegwart. Flexible Stereo: Constrained, Non-Rigid, Wide-Baseline Stereo Vision for Fixed-Wing
Aerial Platforms. 2018 IEEE International Conference on Robotics and Automation (ICRA), Brisbane, QLD, 2018, pp. 2550-2557.

由于对文中部分内容不是很熟悉，因此可能存在翻译有偏差之处，还望不吝指正。

这篇论文立意新颖，考虑的外参存在几何约束情况下观察求解问题的分析，通过引入几何关系可以使多视角相机观测满足几何约束，从而提高观测精度。

感谢作者对此方面工作的探索及贡献。

如有侵权烦请联系。