经典文献阅读之--Extrinsic Self-calibration of the Surround-view System: A Weakly... (环视系统的外参自标定)

0. 简介

我们之前介绍了基于特征和优化的方法完成外餐标定的方法，现在我们这次来看一个基于弱监督的环视系统的外参自标定方法《Extrinsic Self-calibration of the Surround-view System: A Weakly Supervised Approach》。本文提出了一种遵循弱监督框架的新型自动校准方案，即WESNet（弱监督外参自动校准网络）。WESNet的训练包括两个阶段。首先，我们利用少量校准点图像作为弱监督，通过最小化几何损失粗略优化网络。然后，在第一个阶段收敛后，我们另外引入一个自监督光度损失项，通过自然图像的光度信息构建，用于进一步微调。此外，为支持训练，我们共采集了19,078组在不同环境条件下同步捕获的鱼眼图像。据我们所知，这是迄今为止包含原始鱼眼图像的最大全景图数据集。通过从训练数据中学习先验知识，WESNet以同步采集的原始鱼眼图像作为输入，直接以较低的劳动成本端到端地产生外参。我们在收集的数据集上进行了广泛实验，验证了其效率和效力。为了使我们的结果可复现，源代码和已收集的数据集已在Github上发布。

1. 主要贡献

作为填补这一研究空白的一种尝试，我们提出了一种新颖的弱监督方案，旨在实现SVS的外部自校准。总的来说，我们的贡献主要有三个方面：

1. 提出了一种用于SVS外部校准的弱监督网络WESNet。基于从训练数据中学到的先验知识，WESNet可以以端到端的方式产生SVS的外部参数，输入为原始鱼眼图像。由于很难获得准确的外部参数作为地面真相（GT），我们没有直接使用对应的GT外部参数标注训练样本，而是采用了弱监督框架。具体来说，在校准点图像中的角点信息（在校准点采集的图像）被作为几何监督，网络在训练的第一阶段通过最小化几何损失来进行优化。
2. 设计了一种新颖的光度损失作为自监督信息，以从训练图像本身中获取更多的监督信息。受张等人在[21]中提出的方案OECS的启发，我们将SVS相邻相机的公共视野区域中的成像差异建模为光度损失，并希望尽可能地将这种损失最小化，以合成无缝和高质量的全景图。当基于几何监督的训练收敛时，自监督光度损失将被引入以微调网络，进一步提高估计精度，这是我们进行的第二阶段训练的目的。
3. 为了促进外部校准或依赖全景视图的任何其他计算机视觉任务的研究，我们收集了一个涵盖各种环境条件的大规模全景视图数据集。该数据集包含了19,078组高分辨率鱼眼图像以及在不同环境条件下合成的相应全景视图，覆盖了地面上带有几种车道线和地砖、水泥路、狭窄路径和暴露在强阳光下的道路。此外，我们还提出了一种基于单应性变换的数据增强方法，以提高采集数据的外部参数的丰富性。值得一提的是，据我们所知，这是包含原始鱼眼图像的最大全景视图数据集。为了使我们的结果可复制，本文的源代码和收集的数据集可以在https://cslinzhang.github.io/WESNet/WESNet.html 上在线获取。

2. 全景视图系统概述

本节描述了环视系统的成像过程，即如何从车辆周围安装的摄像头捕获的图像中生成环视图。为了合成环视图像，需要建立一个点在原始鱼眼图像上的像素坐标与鸟瞰图上的像素坐标之间的映射关系。由于这种关系相对复杂，我们将其分为两部分：从**鱼眼图像上的像素坐标到地面坐标的映射关系，以及从3D地面坐标到鸟瞰图上的像素坐标的映射关系。**接下来，我们将详细介绍这两部分。

给定地面坐标系$O_G$和四摄像头环视系统（摄像头表示为$C_1$、$C_2$、$C_3$和$C_4$），摄像头在$O_G$中的姿态分别用$T_{C_{1}G}$、$T_{C_{2}G}$、$T_{C_{3}G}$和$T_{C_{4}G}$表示。姿态矩阵$T_{C_{i}G}$为4×4，具有6个自由度（DOF），可以表示为：
$$T_{C_{i}G}=\left[\begin{array}{cc}{R}_i& t_i\\ 0^T& 1\end{array}\right],i=1,2,3,4\text{\hspace{1em}(1)}$$

$R_i$为一个正交的3×3旋转矩阵，满足$det(R_i)=1$，而$t_i$是一个三维平移向量。

对于从地面坐标系到无畸变图像坐标系的变换，我们用针孔相机模型来表达。给定地面坐标系$O_G$中的任意点$P_G=[X_G,Y_G,Z_G,1{]}^T$，在$C_i$的成像平面上对应的像素坐标$p_{C_i}$表示为，
$$p_{C_i}=\frac{1}{Z_{C_i}}{K}_{C_i}{T}_{C_{i}G}{P}_G,i=1,2,3,4\text{\hspace{1em}(2)}$$

在这里，$Z_{C_i}$是相机$C_i$坐标系中$P_G$的深度，而$K_{C_i}$是相机$C_i$的3×3内参矩阵，可以通过张正友等人的重要工作[39]以及其他一些后续工作[40]，[41]一起估计出来。具体来说，$K_{C_i}$的形式是
$$\begin{array}{c}{K}_{C_i}=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\end{array}\text{\hspace{1em}(3)}$$

在这里，$f_x$、$f_y$、$c_x$和$c_y$是相机的内参参数。值得注意的是$p_{C_i}$是一个无畸变点。与上述模型相比，从鸟瞰坐标系到地面坐标系的转换要简单得多，本质上是一个相似变换。鸟瞰图像可以通过将相机图像投影到地面上来生成，即平面$Z_G=0$在$O_G$中。对于鸟瞰坐标系中的点$p_G=[u_G,v_G,1{]}^T$，其在地面坐标系中对应的点为$P_G$，它们之间的转换如下所示：
$$\begin{array}{c}\left[\begin{array}{c}{u}_G\\ v_G\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{d_{x_G}}& 0& \frac{W}{2d_{x_G}}\\ 0& \frac{-1}{d_{y_G}}& \frac{H}{2d_{y_G}}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_G\\ Y_G\\ 1\end{array}\right]\end{array}\text{\hspace{1em}(4)}$$

在这里，$X_G$、$Y_G$和$Z_G$分别是$P_G$的坐标值，$d_{X_G}$和$d_{Y_G}$表示每个像素的大小，$W$和$H$分别是环视图像覆盖范围的宽度和高度。由于$Z_G=0$，在这里被隐式忽略。将从$P_G$到$p_G$的转换矩阵表示为$K_G$，然后方程4可以简化为：
$$p_G=K_G{P}_G\text{\hspace{1em}(5)}$$
通过结合第2个方程和第5个方程，我们可以得到
$$p_{C_i}=\frac{1}{Z_{C_i}}{K}_{C_i}{T}_{C_{i}G}{K}_G^{-1}{p}_G\text{\hspace{1em}(6)}$$

通过公式6，我们能够在鸟瞰图上的点$p_G$和相机$C_i$的未畸变成像平面上的点$p_{C_i}$之间建立完整的映射关系。有了这样的双射关系，考虑到每个相机$C_i$捕获的鸟瞰视图图像$I_{G{C}_i}$中的点$p_G$，其对应的像素值可以通过以下方式获得：
$$I_{G{C}_i}(p_G)=I_{C_i}(p_{C_i})\text{\hspace{1em}(7)}$$

将相机$C_1$、$C_2$、$C_3$和$C_4$拍摄的图像映射到鸟瞰视图，然后适当拼接，就可以合成完整的环视图像，其中$I_{C_i}$是相机$C_i$拍摄的无失真图像。

3. 弱监督相机外参估计

通过准确的外参，可以在运行时合成无缝的全景图像。然而，如第一节所讨论的，手动校准方案通常非常费力，无法在线应用，而且现成的自校准方案在鲁棒性和泛化性方面表现不佳。为了为全景视图系统（SVS）的外参校准提供一种鲁棒且轻量级的解决方案，本文提出了一种基于弱监督框架的学习方法来估计相机外参。该方案基于一种端到端的轻量级卷积神经网络（CNN），即WESNet，可以直接从四个同步捕获的鱼眼图像中得出外参，这些图像由安装在车辆周围的相机拍摄。在弱监督框架下，我们主要利用校准场地角点的重投影损失，而不是为数据集中每个图像标注其对应的真值（GT）外参。

在利用弱监督信息进行训练时，WESNet能够提供粗略的外参估计，但其精度仍然不足。为了从训练数据中挖掘更多信息，我们还引入了自监督的光度损失，在弱监督损失收敛后对网络进行微调。因此，网络的精度可以进一步提高，从而合成无缝的全景视图。

3.1 网络架构

WESNet的基本架构主要是根据校准回归框架的建议设计的[37]，[38]，同时也考虑了CNN领域的共同知识。图1展示了其配置。在这里，使用了一个由3×3卷积和接着的1×1卷积组成的残差瓶颈[42]作为基本构建模块。

图1. WESNet的网络架构。如图所示，平行层独立地从四个输入图像中提取深层特征，然后串联层将来自不同图像的特征融合在一起。最后，全局汇聚层将串联特征映射到48维向量中，该向量代表SVS的外参。这里的“s2”表示对应卷积操作的步长为2，而默认值为1。

如图1所示，平行层独立地从每个输入鱼眼图像中提取深层特征。然后，来自多路径的特征图将被串联在一起，以融合来自不同视角的提取特征。最后，全局聚合层，由卷积层和全连接层组成，将将聚合的特征映射到外参。如方程式1所述，这些外参以变换矩阵形式表示，对于每个摄像头，需要回归出九个旋转参数和三个平移参数。因此，WESNet将生成一个48维向量来表示SVS的外参。

3.2 损失函数

WESNet的损失函数定义为三个损失项的组合，几何损失、正交损失和光度损失，具体如下：
$$Loss=Los{s}_{geo}+\alpha Los{s}_{ortho}+\beta Los{s}_{pho}\text{\hspace{1em}(8)}$$
$Los{s}_{geo}$代表几何损失，$Los{s}_{ortho}$代表正交损失，$Los{s}_{pho}$指的是光度损失。超参数设置为$\alpha =0.1$和$\beta =0.15$。几何损失实际上是弱监督损失，可以促进网络的收敛，而光度损失则是为了微调网络，以合成无缝的环视图。此外，还集成了正交损失，以保持估计旋转矩阵的内部约束。接下来，我们将详细介绍这三个损失项。

3.2.1 几何损失

众所周知，完全监督学习的局限性在于其性能强烈依赖于标签的准确性，而在外参校准任务中，很难获得准确的GT。因此，我们不将现有校准解决方案估计的外参直接作为标签，而是利用校准场景图像中的几何关系作为弱监督信息来构建引导WESNet优化的几何损失，以避免其性能受到不准确监督的限制。我们首先收集了布满棋盘标记的校准场景图像。通过这些标记的已知尺寸，可以轻松获得每个标记在世界坐标系中的3D坐标。基于角点的3D世界坐标对和校准场景图像中相应手动标记的2D像素坐标对，我们形成了重新投影损失，以几何回归出在相同外参配置下采集的图像中的输出外参。为了帮助理解，几何损失的草图如图2所示。

图2. 几何损失的示意图。对于在未失真的标定场景图像上选择的每个角点$p_{C_i}$，其在地面坐标系中对应的点为$P_G$，其几何损失被构建为$p_{C_i}$与通过使用方程2估计的外参将$P_G$投影到$C_i$的未失真图像平面上的点之间的坐标差异。

给定校准场景上的一个选定角点，其在地面坐标系$O_G$中的3D坐标$P_G$与由相机$C_i$采集的无畸变鱼眼图像上的2D像素坐标pCi之间的关系已在方程2中给出。
$$\begin{array}{c}Los{s}_{geo}=\sum _i\sum _{P_G\in {\mathcal{P}}_i}{\Vert \text{norm}(p_{c_i}-p_{c_i}^{\prime })\Vert }_2\end{array}$$
因此，借助WESNet的摄像机姿态，可以生成相应的投影$p_{C_i}^{\prime }$，并建立一个损失项，即$p_{C_i}$与$p_{C_i}^{\prime }$之间的距离。通过对所有角点的误差项求和，我们得到了WESNet的整体几何损失，如下所示：

$$\begin{array}{c}\begin{array}{rl}Los{s}_{geo}& =\sum _i\sum _{P_G\in {\mathcal{P}}_i}{\Vert \text{norm}(p_{C_i}-p_{C_i}^{\prime })\Vert }_2\\ & =\sum _i\sum _{P_G\in {\mathcal{P}}_i}{\Vert \text{norm}\left(p_{C_i}-\frac{1}{Z_{C_i}}{K}_{C_i}{T}_{C_{i}G}{P}_G\right)\Vert }_2\end{array}\end{array}\text{\hspace{1em}(9)}$$

在SVS中，其中$i$代表相机的索引，范围从1到4，$P_i$代表校准站点上所有可被相机$C_i$看到的选定角点的集合，函数$norm(\ast )$通过将其在相应轴上的坐标除以图像的宽度或高度来对重新投影的像素坐标进行归一化。值得一提的是，地面坐标系应手动确定。一个常见的解决方案是将车辆停放在适当位置以使车辆坐标系与地面坐标系对齐。从这个角度来看，除了以弱监督方式标记训练数据外，几何损失还提供了一个绝对参考，以确保网络的收敛。具体来说，通过引入几何损失，WESNet可以学习确定一个特定的地面坐标系，并在统一的参考系统中回归不同相机的姿态。

3.2.2 正交损失

旋转矩阵由九个参数组成，但其自由度仅为三，暗示着强烈的内部约束。由于解决受约束的优化问题很困难，我们选择了一个相对柔和的解决方案，即引入正交损失以在训练过程中保持约束满足。受[43]的启发，正交损失被定义为：
$$\begin{array}{c}\begin{array}{rl}Los{s}_{org}=\sum _i\sum _{j=1}^3({\left((R_{j1}^i{)}^2+(R_{j2}^i{)}^2+(R_{j3}^i{)}^2-1\right)}^2& \\ & +{\left(R_{11}^i{R}_{21}^i+R_{12}^i{R}_{22}^i+R_{13}^i{R}_{23}^i\right)}^2\\ & +{\left(R_{11}^i{R}_{31}^i+R_{12}^i{R}_{32}^i+R_{13}^i{R}_{33}^i\right)}^2\\ & +{\left(R_{21}^i{R}_{31}^i+R_{22}^i{R}_{32}^i+R_{23}^i{R}_{33}^i\right)}^2)\end{array}\end{array}\text{\hspace{1em}(10)}$$

在这里，$R_{jk}^i$是$C_i$的旋转矩阵$R_i$中第$j$行第$k$列的元素。

3.2.3 光度损失

仅使用几何损失进行训练，网络可能会收敛到一个勉强令人满意的水平。然而，结果仍然不够准确，合成环视图中通常会出现明显的几何错位。为了进一步提高网络的性能，我们引入了额外的自监督光度损失。这种光度损失的草图如图3所示。

…详情请参照古月居