论文阅读：GaussianBeV : 3D Gaussian Representation meets Perception Models for BeV Segmentation

论文阅读：GaussianBeV : 3D Gaussian Representation meets Perception Models for BeV Segmentation

Abstract

鸟眼图(BEV)表示法被广泛用于从多视角摄像机图像中进行3D感知。它允许将不同摄像头的特征合并到一个公共空间，提供3D场景的统一表示。关键组件是视图转换器，它将图像视图转换为Bev。然而，基于几何或交叉注意的实际视图变换方法不能提供场景的足够详细的表示，因为它们使用3D空间的子采样，该子采样对于环境的精细结构的建模是非最佳的。在本文中，我们提出了一种新的将图像特征转换为BEV的方法–GaussianBeV，该方法通过在3D空间中定位和定位的一组3D GaussianBeV来精细地表示场景。然后，通过适应基于高斯飞溅的3D表示渲染的最新进展，该表示被飞溅以产生BEV特征图[12]。GaussianBeV是第一个在线使用这种3D高斯建模和3D场景渲染过程的方法，即不在特定场景上进行优化，直接集成到用于Bev场景理解的单个阶段模型中。实验表明，所提出的表示方法是高效的，并使GaussianBeV成为nuScenes数据集上Bev语义分割任务的最新研究成果[2]。

3. GaussianBeV

3.1. Overview

图2展示了GaussianBeV的概览。该模型将一组多视图图像作为输入 $I\in {\mathbb{R}}^{N\times H\times W\times 3}$，$N$ 是摄像机的数量，$ H$ 和 $W$ 是图像的维度。这些图像顺序通过四个模块，指导BeV分割。

第一模块使用图像主干和颈部提取图像特征，获得特征地图 $F\in {\mathbb{R}}^{N\times H_F\times W_F\times C_F}$，其中 $C_F$ 为通道数，$H_F$ 和 $W_F$ 为特征地图的维度。

第二个模块是3D高斯生成器（第3.2节），它为特征地图中的每个像素预测世界参考系中相应高斯的参数。该模块的输出是一组3D高斯 $G\in {\mathbb{R}}^{N{H}_F{W}_F\times (C+11)}$，$C$ 是与每个高斯相关的嵌入的通道数。更具体地说，$G$包含以下参数：位置 $P\in {\mathbb{R}}^{N{H}_F{W}_F\times 3}$、标度 $P\in {\mathbb{R}}^{N{H}_F{W}_F\times 3}$、单位四元数旋转 $Q\in {\mathbb{R}}^{N{H}_F{W}_F\times 4}$ 、不透明度 $O\in {\mathbb{R}}^{N{H}_F{W}_F\times 1}$和嵌入 $E\in {\mathbb{R}}^{N{H}_F{W}_F\times C}$。首先，该模块在其自己的相机参考系中为每个相机预测一组3D高斯分布。接下来，应用相机外部参数将相机的3D高斯变换到世界参考系，最终将所有高斯串接到单个集合 $G$ 中。

第三个模块是BeV网格化器（第3.3节），它执行3D高斯集 $G$ 的BeV渲染，以产生BeV特征地图 $B\in {\mathbb{R}}^{H_B\times W_B\times C}$，$H_B$ 和 $W_B$ 是BeV地图的维度。

最后，在最后一个模块中，BeV主干和分割头顺序应用于BeV特征，以提供最终的预测。

3.2. 3D Gaussian generator

给定输入特征地图 $F$ ，3D高斯生成器使用多个预测头来预测场景的3D高斯表示。图3说明了它如何在特征地图上操作。

Gaussian centers. 场景中高斯的3D位置通过应用于 $F$ 的深度头和3D偏置头估计。第一个预测3D中心沿着光线的初始位置。第二个方法通过添加小的3D位移来细化这个3D位置，通过不沿着光线冻结高斯，为高斯的定位提供更大的灵活性。(giving more flexibility in the positioning of gaussians by not freezing them along the optical rays.)

更准确地说，对于具有坐标 $(u_{n,i},v_{n,i})$ 的相机 $n$ 的特征地图中的像素 $i$ ，深度头预测差异 $d_{n,i}\in [0,1]$ ，正如处理单目深度图估计的先前作品中一样[6，26]。为了补偿从一个相机到另一个相机的焦距多样性对深度预测的影响，如[23]中提出的，在参考焦距 $f$ 中预测差异高达一定比例因子。知道与摄像机 $n$ 相关的真实焦距 $f_n$ ，然后对度量深度 $z_{n,i}$ 进行如下解码：
$$z_{n,i}=\frac{f_n}{f}(\frac{1}{d_{n,i}}-1)$$
然后使用第 $n$ 个相机的内参矩阵 $K_n$ 来推导相机参考系中相应的3D点 $p_{n,i}^c$：
$$p_{n,i}^c=K_n^{-1}\left[\begin{array}{c}{z}_{n,i}{u}_{n,i}\\ z_{n,i}{v}_{n,i}\\ z_{n,i}\end{array}\right]$$
产生的3D点被限制为沿着穿过所考虑像素的光线。(The resulting 3D points are constrained to lie along the optical ray passing through the pixel under consideration.)由于这种限制，他们的定位不一定是最佳的。为了克服这个问题，我们建议使用3D补偿预测头。它的目标是提供小位移 ${\Delta }_{n,i}=(\Delta x_{n,i},\Delta y_{n,i},\Delta z_{n,i}{)}^T$ ，应用于高斯 $p_{n,i}^c$ 的3D中心，以细化其在所有三个方向上的位置。细化的3D点 $p_{n,i}^c$ 简单地通过以下方式获得：
$${\overline{p}}_{n,i}^c=p_{n,i}^c+{\Delta }_{n,i}$$
在此阶段，为每个相机计算的3D高斯中心在相应的相机参考系中表达。为了在世界参考系中表达这些点，外部参数矩阵 $[R_n|t_n]$ 被应用，允许相机到世界的转变：
$$p_{n,i}^w=[R_n|t_n]{\overline{p}}_{n,i}^c$$
结果是高斯中心集 P = { p n , i w } ∈ R N H F W F × 3 P = \{p_{n,i}^w\} \in \mathbb{R}^{NH_FW_F\times3} P={pn,iw​}∈RNHF​WF​×3。

Gaussian rotations. 场景中高斯的3D旋转通过应用于 $F$ 的旋转头来估计。对于相机 $n$ 的特征地图中的给定像素，它以单位四元数 $q_{n,i}^a$ 的形式输出异心旋转(allocentric rotation)。像素的异心旋转对应于相对于穿过它的3D光线的旋转。这种模型化使旋转头更容易学习，因为它不知道与它正在处理的像素对应的光线。例如，放置在场景中两个不同位置并且在相机参考系中具有不同绝对（自我中心）旋转的两个对象在图像中可能具有相同的外观。在这种情况下，旋转头预测的异心旋转将相同。然后使用相机的内在参数来检索自我中心旋转信息。

为此目的，计算四元数 $q_{n,i}$，其代表穿过相机 $n$ 的像素 $i$ 的光线与轴 $[0,0,1{]}^T$ 之间的旋转。然后通过以下方式恢复代表相机参考系中自我中心旋转的四元数 $q_{n,i}^e$ ：
$$q_{n,i}^e=q_{n,i}{q}_{n,i}^a$$
最后，对于高斯中心，使用 $q_{R_n}$ 计算代表高斯在世界参考系中旋转的四元数 $q_{n,i}^w$ ，该四元数对相机 $n$ 的相机到世界旋转进行建模:
$$q_{n,i}^w=q_{R_n}{q}_{n,i}^e$$
由此计算出的四元数形成高斯旋转集 $Q=\left\{q_{n,i}^w\right\}\in {\mathbb{R}}^{N{H}_F{W}_F\times 4}$。

Gaussian scales, opacities and features. 最后三个高斯参数不取决于光学属性和相机定位，而是编码语义属性。因此，三个头部简单地用于预测BeV网格化模块渲染高斯集 $G$ 所需的集 $S$、$O$ 和 $E$。

3.3. BeV rasterizer(看不懂 感觉藏东西了)

BeV网格化模块用于从3D高斯生成器预测的高斯 $G$ 集合中获得BeV特征地图 $B\in {\mathbb{R}}^{H_B\times W_B\times C}$ 。为此，高斯飞溅[12]中提出的可微网格化过程已被改编来执行此渲染。第一种适应已经在其他离线语义重建工作中提出[19]，包括渲染 $C$维特征而不是颜色。在我们的例子中，这会产生包含对于解决感知任务至关重要的语义特征的渲染。第二种调整涉及使用的投影类型。我们已经参数化了渲染算法，以生成正投影渲染而不是透视渲染，更适合场景的BeV表示。

3.4. GaussianBeV training

我们的模型使用[3，7，8]中使用的损失函数进行端到端训练。在这些之前的作品中，语义分割损失 $L_{sem}$ 定义如下：
$$L_{sem}={\lambda }_{bce}{L}_{bce}+{\lambda }_{ctr}{L}_{ctr}+{\lambda }_{off}{L}_{off}$$
$L_{bce}$ 是二元交叉熵损失。$L_{ctr}$ 和 $L_{off}$分别对应中心度和抵消损失，作为辅助损失来规范训练。参数 $\lambda$ 是平衡这三个损失的权重。

Gaussian regularization losses. 尽管GaussianBeV可以在上述损失的情况下进行有效训练，但添加直接作用于高斯表示的正规化函数可以提高其表示质量。特别是，训练期间增加了两次正规化损失。

首先，深度损失旨在使用LiDART在图像中投影提供的深度信息来规范高斯的位置。这种损失增加了对深度头预测的约束，以获得初始3D位置，然后通过3D偏差来细化该位置（参见第3.2节）。$z$ 是GT深度，$z\ast$是预测深度，深度损失 $L_{depth}$ 定义如下：
$$L_{depth}(z,z^{\ast })=|log(z)-log(z^{\ast })|$$
其次，早期监督损失旨在在应用BeV主干+头部之前优化高斯表示。其想法是限制BeV特征，以直接为语义分割任务提供所有必要的信息。在实践中，分段头被添加并直接连接到BeV格栅器模块的输出。早期监督损失 $L_{sem}^{early}$ 的定义类似于 $L_{sem}$（参见等式7）。因此，总损失函数定义为：
$$L=L_{sem}+L_{sem}^{early}+{\lambda }_{depth}{L}_{depth}$$
第4.2节分析了这些学习策略的影响。