北大最新开源 | 首次使用3D GS建模自动驾驶动态场景！

0. 笔者个人体会

最近3D GS在NeRF圈真是掀起了一股浪潮，不停地刷新NeRF的精度和渲染速度，还推广到了SLAM等很多领域。还有什么是3D GS做不到的呢？

还真有！原始的3D GS很难去建模大规模动态自动驾驶场景，尤其是很难处理包含动静结合区域和多个高速运动物体的复杂驾驶场景。

今天笔者将为大家分享一篇北大&谷歌&加州大学联合开源的最新工作DrivingGaussian，是第一个基于复合GS的大规模动态自动驾驶场景的建模框架，还能实现高保真和多相机一致的逼真环视合成。

下面一起来阅读一下这项工作，文末附论文和代码链接~

1. 效果展示

DrivingGaussian为周围的动态自动驾驶场景实现了真实感渲染性能，而其他方法（包括3D GS）要么产生大量伪影和模糊，要么很难重建几何细节。DrivingGaussian的思想是，引入复合GS，在复杂自动驾驶场景中高效地表示静态背景和多个动态对象。

2. 具体原理是什么？

对于具有移动物体的复杂场景，DrivingGaussian首先使用增量静态3D Gaussians序列渐进地对整个场景的静态背景进行建模，然后利用复合动态Gaussian graph来处理多个移动对象，单独重建每个对象并恢复它们在场景中的准确位置和遮挡关系，最后进一步使用LiDAR先验进行GS来重建具有更多细节的场景并保持全景一致性。