港科技最新DrivingRecon：可泛化自动驾驶4D重建新SOTA！-CSDN博客

点击下方卡片，关注“自动驾驶之心”公众号

今天自动驾驶之心为大家分享港科技最新的工作—DrivingRecon！自动驾驶4D场景重建SOTA。如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『3DGS』技术交流群

论文作者 | Hao LU等

编辑 | 自动驾驶之心

写在前面&笔者的个人理解

从这一两年发表的论文数量可以看出，自动驾驶街景的重建与仿真备受关注，由此构建的自动驾驶仿真器对corner case的生成以及端到端模型的闭环评估/测试都非常重要，本次分享的是一篇关于自动驾驶场景4D重建的工作DrivingRecon。

论文链接: https://arxiv.org/abs/2412.09043
开源地址: https://github.com/EnVision-Research/DriveRecon

过去有很多使用3DGS或者Diffusion来做自动驾驶街景重建/生成的工作，比较具有代表性的是StreetGaussian，OmniRe这一类借助3D bbox将静态背景和动态物体解耦的框架，后来又出现了使用4D NeRF学习动态信息的方法，虽然取得了不错的效果，但这些方法都有一个共性，就是需要不断的训练来进行重建，即每个场景训练一个模型，非常耗时。因此作者提出了一种可泛化的自动驾驶4D重建模型DrivingRecon。在模型中，作者引入了PD-Block来更好的融合相邻视角的图像特征，消除重叠区域的高斯；也引入了Temporal Cross-attention来增强时序的信息融合，并且解耦动态和静态物体来更好的学习几何和运动特征。实验结果表明，与现有的视图合成方法相比，DrivingRecon 方法显著提高了场景重建质量和新视图合成。此外，作者还探讨了 DrivingRecon 在模型预训练、车辆自适应和场景编辑中的应用。

方法详解

通常，先看一下论文的框架图有益于对整体的理解，DrivingRecon的整体框架如下：

为了得到一种generalizable的模型，那模型必然不能和数据是一一对应的关系，实现这一步的关键就是提取图像数据特征然后再进行后面的步骤，这个思路很常见，类似的还有GaussianFormer等。首先使用一个共享图像编码器对图像提取特征；接下来使用一个深度估计网络预测对应图像的深度，然后结合相机的内外参得到世界坐标系下的点云（x，y，z），并和图像特征拼接得到具有几何信息的特征。对于4D的任务，Temporal Cross Attention的是很常见且有用的模块，用来融合不同时序的特征，DrivingRecon也有使用到，可以看下文的细节；然后再用一个解码器增强特征的分辨率，最后，高斯适配器将解码的特征转换为高斯点（即scale，alpha等）和分割输出。

以上是DrivingRecon的整体思路，下面看一些细节：

3D Position Encoding

这部分主要是为了融合不同视角和不同时间间隔的特征：首先用DepthNet获得uv坐标下的像素深度d_(u,v)，方法也很简单，直接使用Tanh激活函数来处理第一个通道的图像特征，然后再将深度投影到世界坐标系：

最后结合图像特征一起输入到PD-Block进行多视角特征融合。为了更好的融合，作者在训练时使用lidar得到的稀疏深度进行约束，即lidar点投影到图像上与之对应的深度算loss，具体计算为：

其中为有效深度的mask。

Temporal Cross Attention

因为视角的稀疏性，精确的街景甚至其他场景的重建是非常困难的。为了获取更多的有用特征，增强场景建模效果，在时间维度或空间维度来融合特征是比较常见的方法。文章中的方法可以简单表示为：

其中x是输入的特征，B表示Batch size, T表示时间维度，V表示视角个数，H，W，C表示特征的高，宽以及通道数。注意，与更为常见的时序交叉注意力不一样的是，这里同时考虑时间空间的信息融合, 从倒数第二维度可以看出。

Gaussian Adapter
由两个卷积blocks构成，输入是时序融合后的特征，输出分割c，深度类别，深度回归修正，RGB颜色rgb，alpha，scale，rotation，UV坐标偏移量[∆u,∆v]，optical flow [∆x,∆y,∆z]，最后深度的计算方式如下：

这里为啥要预测坐标偏移量？是因为作者使用的方法不是严格的像素对齐的，原因是PD -Block通过将资源从简单场景重新分配到更复杂的物体上,有效的管理空间的计算冗余。此时世界坐标的计算变为:

这里输出的光流可以用来获得每一个世界坐标下的点在下一帧的位置，即：

Prune and Dilate Block（PD-Block）

如上图所示，自动驾驶车辆上的相邻相机视野通常会存在重叠部分，就会导致不同视角中的同一个物体会出现重复gaussian预测，叠加后生成的效果会变差，另外在场景表示中，像天空这些区域不需要太多的gaussian来表达，而对于物体边缘处（高频处）则需要更多的gaussian来表示，因此作者提出了一个PD-Block的模块，它可以对复杂实例的高斯点进行扩张，并对相似背景或不同视图的高斯点进行修剪,步骤如下：

（1）将相邻视角的特征图以range view的形式拼接起来，那重叠部分的特征在位置上是比较靠近的，易于融合
（2）然后为了减少内存的使用将range view特征分割成多个区域
（3）在空间中均匀地选择K个中心，中心特征通过平均其Z个最近点来计算
（4）计算区域特征和中心点之间的余弦相似矩阵S
（5）根据阈值生成生成mask
（6）基于mask，可以对长距离特征和局部特征进行聚合，即。其中，长距离特征e_lt通过大核卷积提取，局部特征e_lc为原始range view特征。

动静解耦

自动驾驶场景的视野非常稀疏，这意味着只有有限数量的摄像机同时捕捉到相同的场景。因此，跨时间视图监督是必不可少的。对于动态目标，该算法不仅可以在 t 时刻预测动态目标的高斯分布，而且可以预测每个高斯分布点的Flow（类似光流）。因此，实验中也会使用下一帧来监督预测的高斯点，即。对于静态对象，可以使用相邻时间戳的相机参数来渲染场景，并且只监督静态部分，即。大多数方法只使用静态的物体场景来更好地构建3D高斯，而忽略了对动态物体多视图的监督。注意，当监督跨时间序列的渲染时，阈值小于 α 的渲染图像是不进行监督的，因为这些像素通常不会在整个时间序列中重叠。此外，同样使用 L1重建约束，让渲染的图像与GT更接近。

分割

主要有两个作用：一是为了获得动态物体的mask（例如车辆和行人），静态物体的mask，以及天空的mask，另外引入语义监督有利网络对整个场景的理解（建模），作者用的模型是DeepLabv3plus。作者还将3D bbox投影到2D图像上，以此做为prompt通过SAM获得更精确的mask，这里使用一个简单的“或”逻辑合并两种处理的方式，确保所有动态的物体都获得对应的mask，相当于双重保障了。

损失函数

训练中的损失函数为：

：约束渲染图像
：约束深度的类别
：约束修正后的深度
：约束深度
：约束动态对象
：约束静态对象
：约束分割结果

和使用分割的标签，这部分不用于预训练实验。其他损失是无监督的，这也使得DrivingRecon 实现良好的性能。这些规则和约束使得 DrivingRecon 能够有效地整合几何和运动信息，提高其跨时间和跨视角的场景重建能力。

实验分析

与现有方法的渲染结果对比：

与现有方法的指标对比：

从表1和表2可以看出，不管是动态还是静态对象，指标提升的还是很大的。

重建结果可视化：

泛化性测试结果如下：

消融实验：

最后，文章最后还讨论几个潜在的应用：

车辆适应性：新车型的引入可能导致摄像机参数的变化，如摄像机类型(内参)和摄像机位置(外参)。所提出的四维重建模型能够用不同的摄像机参数来渲染图像，以减小这些参数的潜在过拟合。实验中作者在 Waymo 上使用随机的内参渲染图像，并以随机的方式渲染新的视角图像作为一种数据增强的形式。渲染的图像也会使用图像检测中的数据增强方式，包括调整大小和裁剪，然后结合原始数据训练BEVDepth，结果如下:

预训练模型：四维重建网络能够理解场景的几何信息、动态物体的运动轨迹和语义信息。这些能力反映在图像编码中，其中这些编码器的权重是共享的。为了利用这些能力进行预训练，作者用 ResNet-50替换了编码器。然后重新训练DrivingRecon，没有使用任何语义注释，属于完全无监督的预训练。随后，用预先训练好的模型替换了 UniAD 的编码器，并在 nuScenes 数据集上对其进行了微调。与 ViDAR 相比，使用新的预训练模型取得了更好的性能。

场景编辑：四维场景重建模型能够获得一个场景的全面的四维几何信息，这允许删除，插入和控制场景中的对象。文中给出了一个例子，在场景中的固定位置添加了带有人脸的广告牌，表示汽车停下的corner case：

结论

文章中提出了一种新的4D重建模型DrivingRecon，输入全景视频（环视）即可快速重建出4D自动驾驶场景。其中关键的创新点是提出了PD-Block，可以删除相邻视角的冗余高斯点，并允许复杂边缘周围进行点扩张，增强了动态和静态物体的重建。另外，文章中也引入了一种使用光流预测的动静态渲染方法，可以更好的监督跨时间序列的动态对象。实验表明，与现有方法对比，DrivingRecon在场景重建和新视角生成方面具有更优越的性能。并通过实验证明了可以用于模型的预训练，车辆自适应，场景编辑等任务。

① 2025中国国际新能源技术展会

自动驾驶之心联合主办中国国际新能源汽车技术、零部件及服务展会。展会将于2025年2月21日至24日在北京新国展二期举行，展览面积达到2万平方米，预计吸引来自世界各地的400多家参展商和2万名专业观众。作为新能源汽车领域的专业展，它将全面展示新能源汽车行业的最新成果和发展趋势，同期围绕个各关键板块举办论坛，欢迎报名参加。

② 国内首个自动驾驶学习社区

『自动驾驶之心知识星球』近4000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（端到端自动驾驶、世界模型、仿真闭环、2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎扫描加入

③全网独家视频课程

端到端自动驾驶、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）