[CVPR-24] Text-to-3D using Gaussian Splatting

zzl_1998

已于 2024-03-18 22:51:24 修改

阅读量1k

点赞数 21

文章标签：计算机视觉人工智能

于 2024-03-18 22:47:33 首次发布

本文链接：https://blog.csdn.net/qq_40731332/article/details/136823493

版权

本文提出利用Point-E和3DSDSloss优化3DGS，通过外观细化阶段有效抑制异常点，采用紧凑稠密化方法处理SDS损失的随机性。实验中，Point-E用于初始化并结合几何和外观优化，提升3D模型的质量。

摘要由CSDN通过智能技术生成

方法

text-to-3D任务通畅存在严重的双脸问题。不同于NeRF和DMTE等3D表征，3DGS可以显示控制每个点的位置。因此，本文提出通过Point-E + SDS loss优化3DGS的位置变量。
其中， $p_t$ 和 $x_t$ 分别表示加噪的高斯位置和渲染图像。

本文引入了额外的外观细化阶段（appearance refinement stage），该阶段间歇执行，仅使用2D图片先验细化和稠密化3DGS。
3DGS中使用的稠密化方法需要设置梯度阈值。然而，这个阈值在使用SDS损失时不好确认。由于SDS具有较强的随机性，使用较小阈值会导致产生大量的随机点，较大阈值则会导致点较少进而影响表达能力。
为解决该问题，本文提出基于紧凑的稠密化方法（compactness-based densification），可以和较大的位置梯度阈值搭配使用。
具体来说，对每个高斯点，首先通过KD树获取K个最近邻点；对每个近邻，如果他们之间的距离小于他们半径之和，则在他们中间新增一个高斯点，新增点的半径为距离残差。
如下图所示，本文所提出的稠密化方法可以填补空洞，得到更好的几何结构。

为了剪除不需要的高斯点，本文引入了一个透明度正则项，其权重正比于它到中心点的距离（extra loss to regularize opacity with a weight proportional to its distance to the center）。
为了确保在外观细化阶段中，高斯点不发生较大位移，本文引入了针对位置的正则项。
外观细化阶段损失如下：
其中，sg()是梯度截停操作， $p_i$ 和 $o_i$ 是第 $i$ 个高斯点的位置和透明度。

SD 1.5，gudiance scale设置为100，使用了view-dependent prompt
500 iter进行一次稠密化， $T_{pos} = 0.02$ 。本文提出的compactness-based densification 1000-iter执行一次。每200-iter移除掉可见度小于 $\alpha_{min}=0.05$ 的点。
在几何优化阶段： $\lambda_{SDS}=0.1, \lambda_{3D}=0.01$ ；在外观细化阶段 $\lambda_{SDS}=0.1, \lambda_{mean}=1.0, \lambda_{opacity}=100.0$ 。

关注