【论文笔记】4D Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes

原文链接：https://arxiv.org/abs/2402.03307

1. 引言

从2D图像进行动态场景的3D重建并合成新视图图像仍然面临挑战。一些方法联合建模3D场景与其动态，但因时空纠缠的复杂性，这些方法对细节的保留存在缺陷；其它方法则进行时空解耦，学习静态正则空间，并预测变形场以考虑时间变化，但其难以处理物体突然出现与消失的情况。此外，基于体渲染的方法需要在大量射线上进行密集采样，不能支持实时渲染。

本文将静态场景新视图合成方法3D GS扩展到4D，提出时空表达，使3D GS能适应动态场景。将3D场景动态视为4D时空高斯椭球的时间切片（如下图所示为XY到XYT的扩展）。此外，在时间维度扩展剪枝-分裂机制，使4D高斯可以表达突然出现和消失的物体。

本文选择4D转子（rotor，旋转算子），一种时空可分离的旋转表示，来表达4D旋转。4D转子在时间维度为0时，等价于空间的3D旋转，因此也可用于静态场景。

此外，本文增强了优化策略，引入新的正则化项来稳定和促进动态重建。熵损失使高斯的不透明度趋近0或1，能有效去除“漂浮物”。4D一致性损失能正则化高斯运动，从而进行更一致的动态重建。

3. 方法

3.2 4D高斯溅射

3.2.1 基于转子的4D高斯表达

4D高斯可以表达为4D中心位置${\mu }_{4D}=({\mu }_x,{\mu }_y,{\mu }_z,{\mu }_t)$和4D协方差矩阵${\Sigma }_{4D}$：
$$G_{4D}(x)=\exp [-\frac{1}{2}(x-{\mu }_{4D}{)}^T{\Sigma }_{4D}^{-1}(x-{\mu }_{4D})]$$

协方差矩阵可进一步表达为4D缩放$S_{4D}=\text{diag}(s_x,s_y,s_z,s_t)$和4D旋转$R_{4D}$：
$${\Sigma }_{4D}=R_{4D}{S}_{4D}{S}_{4D}^T{R}_{4D}^T$$

类似3D旋转矩阵可转化为四元数，4D旋转矩阵$R_{4D}$可转化为为4D转子$r$，由8个分量组成：
$$r=s+b_{01}{e}_{01}+b_{02}{e}_{02}+b_{03}{e}_{03}+b_{12}{e}_{12}+b_{13}{e}_{13}+b_{23}{e}_{23}+p{e}_{0123}$$

其中$e_{0123}=e_0\wedge e_1\wedge e_2\wedge e_3$，$\wedge$表示外积，$e_i$为4D欧式空间中的标准正交基。因此4D旋转可以表达为8个系数，其中前4个表示3D空间旋转，后4个定义了时空旋转（即空间平移）。将后四个数设置为0可将$r$变换为四元数，因此本文方法也可表达静态场景。

转子$r$可通过合适的归一化函数和转子-矩阵映射函数转化为4D旋转矩阵。

3.2.2 时间切片的4D高斯溅射

记4D协方差矩阵
$${\Sigma }_{4D}=\left[\begin{array}{cc}U& V\\ V^T& W\end{array}\right],{\Sigma }_{4D}^{-1}=\left[\begin{array}{cc}A& M\\ M^T& Z\end{array}\right]$$

其中$U$与$A$为$3\times 3$矩阵。给定时间$t$，可得投影的3D高斯：
$$G_{3D}(x,t)=\exp [-\frac{1}{2}\lambda (t-{\mu }_t{)}^2]\exp [-\frac{1}{2}\lambda (x-\mu (t){)}^T{\Sigma }_{3D}^{-1}(x-\mu (t))]$$

其中$\lambda =W^{-1},{\Sigma }_{3D}=A^{-1}=U-\frac{V{V}^T}{W},\mu (t)=({\mu }_x,{\mu }_y,{\mu }_z{)}^T+(t-{\mu }_t)\frac{V}{W}$

注意该式包含了时间衰减项$\exp [-\frac{1}{2}\lambda (t-{\mu }_t{)}^2]$。这样，在时间均值${\mu }_t$附近，3D高斯达到不透明度峰值；远离${\mu }_t$的时间则几乎完全透明（3D高斯消失）。因此，可以表达突然出现和消失的动态。在渲染时，距离时间均值太远的高斯会被过滤掉（设置$\frac{1}{2}\lambda (t-{\mu }_t{)}^2$的阈值）。

此外，其3D中心有额外的$(t-{\mu }_t)\frac{V}{W}$运动项，此时$\frac{V}{W}$就表示当前时刻的运动速度。因此，可以在建模场景的同时获得速度场。

最后，与3DGS一样，将3D高斯按照深度顺序投影到2D图像平面，进行快速可微栅格化，得到最终图像。

3.3 优化策略

由于额外的时间维度为高斯带来额外自由度，因此引入额外的正则化项来稳定训练过程。

3.3.1 熵损失

理想情况下。高斯的不透明度$o_i$应该接近1，因此本文使用熵损失使不透明度趋向0或1，并在训练过程中去除不透明度接近0的高斯：
$$L_{entropy}=\frac{1}{N}\sum _{i=1}^N-o_i\log (o_i)$$

该损失可以精简高斯并过滤噪声漂浮物，在稀疏视图训练下很有用。

3.3.2 4D一致性损失

4D空间中附近的高斯应该有相似的运动。由于在切片时可以得到速度$s$，因此可以通过$\Omega$邻域内的$K$近邻4D高斯来正则化运动使其一致：
$$L_{consistent4D}=\frac{1}{N}\sum _{i=1}^N\Vert s_i-\frac{1}{K}\sum _{j\in {\Omega }_i}{s}_j{\Vert }_1$$

使用4D距离比3D距离更好，因为3D空间中的相邻点可能属于不同物体，从而有不同速度。通过除以时空尺度，来平衡每个维度的尺度。

3.3.3 总损失

在上述正则化项的基础上，使用3DGS中的$L_1$损失和SSIM损失。

4. 实验

4.2 实施细节

初始化：在4D边界框内随机采样点作为高斯均值。3D尺寸被设置为与最近邻的距离；转子被初始化为$(1,0,0,0,0,0,0,0)$以表达静态恒等变换。

4.4 结果

与基于NeRF和其余基于高斯的方法相比，本文方法的速度和精度均最优。在动态区域，本文方法的重建细节更佳。

4.5 消融研究

熵损失：实验表明，加入熵损失能减少一个数量级的高斯数量，且保持重建精度。但在包含透明物体多或有密集视图的场景中，加入熵损失会使性能下降。

4D一致性损失：加入4D一致性损失能减小运动自由度从而降低优化难度，并提高运动一致性和渲染精度。

批训练：批训练能降低梯度噪声并稳定训练。实验表明其可以提高性能和多视图的几何一致性。

---

附录

A. 4D高斯溅射的细节

A.1 4D转子归一化

$r$需满足$r{r}^{†}=1$，其中$†$表示共轭。推导过程见原文。

具体过程：首先应用
$$r:=r+\delta \nabla ϵ$$

其中
$$\begin{gathered} \delta =\frac{-l^2+\sqrt{l^4-4{ϵ}^2}}{2ϵ}, \\ {l}^2=b_{01}^2+b_{02}^2+b_{03}^2+b_{12}^2+b_{13}^2+b_{23}^2+p^2+s^2, \\ ϵ=ps-b_{01}{b}_{23}-b_{02}{b}_{13}+b_{03}{b}_{12} \end{gathered}$$

然后按下式更新$r$：
$$r:=r/l$$

A.2 4D转子到旋转矩阵的变换

通过下式可将4D向量$u$映射为$u^{\prime }$：
$$u^{\prime }=ru{r}^{†}$$

也可通过旋转矩阵表达此映射：
$$u^{\prime }=R_{4D}u$$

据此可求解旋转矩阵与$r$各元素的关系（见原文）。

B. 额外实验

B.2 额外实施细节

根据数据集SfM点的范围定义与轴对齐的边界框。