Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction论文笔记

Contribution

现有的方法倾向用鸟瞰图(BEV)表示来描述3D场景，尽管它比体素表示的效率更高，但它很难用单个平面描述场景的细粒度3D结构。为了解决这个问题，我们提出了一个三视角视图(TPV)表示，它伴随着BEV和两个额外的垂直平面，我们通过在三个平面上叠加投影特征来为3D空间中的每个点建模，为了将图像特征提升到三维TPV空间，我们进一步提出了一种基于Transformer的TPV编码器(TPVFormer)来有效地获取TPV特征

Method

从BEV推广到TPV

给定现实世界中(x, y, z)处的一个查询点，TPV表示法试图聚合它在顶部、侧面和正面视图上的投影，以获得对该点的全面描述。对这些位置的TPV平面进行采样，获取相应的特征。具体来说，我们首先将点投影到TPV平面上以获得坐标，对这些位置的TPV平面进行采样（双线性插值），获取相应的特征，然后进行聚合（求和）操作

TPVFormer

TPVFormer包含两种Transformer模块：混合-交叉注意块(HCAB)和混合-注意块(HAB)

TPVFormer的前半部分采用由CVHA和ICA注意组成的HCAB块，有效地从图像特征中查询视觉信息。在HCAB块之后，HAB块只包含CVHA注意，专门用于上下文信息编码。最后，我们通过堆叠N1 HCAB块和N2 HAB块来构建TPVFormer。

TPV queries

每个TPV查询t∈T是属于三个平面之一的网格单元特征，用于编码来自相应支柱区域的特定视图信息，即为TPV平面用于计算attention的像素点。TPV查询首先使用来自HCAB块中的图像特征的原始视觉信息进行增强，然后使用来自HAB块中的其他查询的上下文线索进行改进。

TPV特征到图像的Cross Attention（ICA）

利用Deformable attention实现图像的cross attention。

具体来说，对于一个位于顶平面(h, w)的TPV查询th,w，我们首先通过反投影函数P−1 hw计算其在现实世界中顶视图中的坐标(x, y)。然后我们沿着平面的正交方向对查询th,w均匀采样N个HW参考点。对所有TPV查询重复类似的过程，在推导出th,w的参考点后，我们需要将它们投影到像素坐标中，以便以后对图像特征映射进行采样。由于不是所有的摄像机都能捕捉到查询th,w的参考点，我们可以通过去除没有一个参考点落在相应相机捕捉到的图像上的无效集合来进一步减少计算量。

TPV特征平面间的Cross Attention（CVHA） 

利用Deformable attention实现TPV特征平面的cross attention。

以位于顶部平面(h, w)的TPV查询th,w为例，我们将其参考点分组为三个不相交的子集，分别包含属于顶部平面、侧平面和前平面的参考点，为了收集顶部平面上的参考点，我们只需在查询th,w的邻域内随机采样几个点。对于侧面和正面平面，我们首先沿垂直于顶部平面的方向均匀采样3D点，并将其投影到侧面和正面平面上，通过线性层对每个参考点的偏移量和注意权重进行采样，并将按其注意分数加权的采样特征相加。

利用图像骨干网对多摄像机图像进行多尺度特征提取。然后进行cross attention，自适应地将二维特征提升到TPV空间，并使用cross-view hybrid attention实现TPV平面之间的交互。为了预测3D空间中一个点的语义占用，我们在三个TPV平面上的投影特征的总和上应用一个轻量级的预测头

Experiments

我们进行了三种类型的实验，包括3D语义占用预测、激光雷达分割和语义场景完成(SSC)。前两个任务在Panoptic nuScenes上执行，最后一个任务在Semantic KITTI上执行。 

Panoptic nuScenes

Semantic KITTI