【论文笔记】4D Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes

原文链接：https://arxiv.org/abs/2402.03307

1. 引言

从2D图像进行动态场景的3D重建并合成新视图图像仍然面临挑战。一些方法联合建模3D场景与其动态，但因时空纠缠的复杂性，这些方法对细节的保留存在缺陷；其它方法则进行时空解耦，学习静态正则空间，并预测变形场以考虑时间变化，但其难以处理物体突然出现与消失的情况。此外，基于体渲染的方法需要在大量射线上进行密集采样，不能支持实时渲染。

本文将静态场景新视图合成方法3D GS扩展到4D，提出时空表达，使3D GS能适应动态场景。将3D场景动态视为4D时空高斯椭球的时间切片（如下图所示为XY到XYT的扩展）。此外，在时间维度扩展剪枝-分裂机制，使4D高斯可以表达突然出现和消失的物体。

本文选择4D转子（rotor，旋转算子），一种时空可分离的旋转表示，来表达4D旋转。4D转子在时间维度为0时，等价于空间的3D旋转，因此也可用于静态场景。

此外，本文增强了优化策略，引入新的正则化项来稳定和促进动态重建。熵损失使高斯的不透明度趋近0或1，能有效去除“漂浮物”。4D一致性损失能正则化高斯运动，从而进行更一致的动态重建。

3. 方法

3.2 4D高斯溅射

3.2.1 基于转子的4D高斯表达

4D高斯可以表达为4D中心位置${\mu }_{4D}=({\mu }_x,{\mu }_y,{\mu }_z,{\mu }_t)$和4D协方差矩阵${\Sigma }_{4D}$：
$$G_{4D}(x)=\exp [-\frac{1}{2}(x-{\mu }_{4D}{)}^T{\Sigma }_{4D}^{-1}(x-{\mu }_{4D})]$$

协方差矩阵可进一步表达为4D缩放$S_{4D}=\text{diag}(s_x,s_y,s_z,s_t)$和4D旋转$R_{4D}$：
$${\Sigma }_{4D}=R_{4D}{S}_{4D}{S}_{4D}^T{R}_{4D}^T$$

类似3D旋转矩阵可转化为四元数，4D旋转矩阵$R_{4D}$可转化为为4D转子$r$，由8个分量组成：
r = s + b 01 e 01 + b 02 e 02 + b 03 e 03 + b 12 e 12 + b 13 e 13 + b 23