牛津大学最新 | 多视角一致性编辑与直接高斯拟合：实现快速高效的3D场景编辑

读者理解

本文介绍了一种名为DGE的3D编辑方法。该方法利用图像编辑器获得多视图一致的2D图像编辑结果，然后直接将3D模型拟合到这些编辑后的图像上，从而实现快速有效的3D编辑。主要贡献包括提出多视图一致性编辑，利用注意力机制同时考虑多个视图；加入极线约束，利用3D几何信息指导特征传播；使用高斯溅射表示3D模型，支持高效渲染和梯度计算；允许部分编辑，只修改场景中的特定部分。实验证明，DGE相比基于迭代的3D编辑方法更加高效和忠实于文本指令，能生成高质量的3D编辑效果。

论文信息

标题：DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing
作者：Minghao Chen
单位：牛津大学
论文：https://arxiv.org/pdf/2404.18929

方法

首先，我们将给定的高质量图像编辑器（如 InstructPix2Pix）修改为多视图一致性。我们通过使用一种免训练的方法来做到这一点，该方法集成了来自场景底层 3D 几何体的提示。其次，给定物体的多视图一致编辑图像序列，我们直接有效地优化了基于3D高斯溅射的3D物体表示。