[24] SWAG: Splatting in the Wild images with Appearance-conditioned Gaussians

• 相较于重建任务，in-the-wild的图片来自不同时间，相同场景的外观具有较大差异。
• 本文引入两个由训练图片决定的变量：颜色变量和不透明度变量。1）颜色变量：实现对相同场景不同外观的建模；2）不透明度变量：对移动物体的建模。
• 本文对动态物体的建模，可能会对4D重建可能有所启发。

Method

Appearance Variation Modeling

• 为缓解外观变化问题，SWAG将image-dependent embedding引入到高斯颜色中。
• 与之前方法相关，本文为每张图片引入一个可学习的编码向量。
• 将颜色、高斯中心点的位置编码和图片编码，一起输入到MLP：

Transient Gaussians Modeling

• 为了解决场景中移动的目标，本文引入了为每张图片引入了：image-dependent opacity variation term 。
• 该变量使得某些3DGS可以透明.
• 本文希望这个变量，要么为0，要么为1。因此，本文从Binary Concrete random variable（伯努利分布，大量样本集中在边界0和1上）中采样。
• 具体来说，本文通过MLP预测：

• 其中，，使得从训练开始就使不透明度为二分分布。在测试阶段，本文固定，最终，3DGS的不透明度：

• 本文发现，在静态场景中，仅有4%的高斯是可变的，96%都是不可变的；在动态场景中，有大量高斯是可变的。
• 作者同时可视化了静态和动态场景中，去除可变高斯前后的结果（左为完整，右为去除可变高斯）。可以看到静态场景中取出可变高斯不影响实验结果，动态场景中，去除可变高斯会保留静态建筑。

实验