75、DiffRF: Rendering-Guided 3D Radiance Field Diffusion

简介

主页：https://sirwyver.github.io/DiffRF/

对应用于三维亮度场的概率扩散过程进行去噪。在3D监控和体积渲染的指导下，模型能够无条件地合成高保真3D资产(左)。

蒙面补全的新应用(右)，即从不完整的对象中恢复形状和外观的任务(在右上方的椅子上用浅蓝色突出显示)，由模型作为条件推理解决，无需特定任务训练

基于去噪扩散概率模型的三维辐射场合成新方法，提出了一个三维去噪模型，该模型直接作用于显式体素网格表示，但是，由于从一组摆拍图像生成的辐射场可能是模糊的，并且包含伪影，因此难以获得真实辐射场样本，通过将去噪公式与渲染损失配对来解决这一挑战，使模型能够学习一个偏向于良好图像质量的偏差先验，而不是试图复制拟合错误.

贡献点：

• 引入了第一个扩散模型，可以直接在3D辐射场上操作，实现高质量、真实的3D几何和图像合成。
• 三维亮度场掩模补全的新应用，它可以理解为图像修补在体积域的自然扩展
• 在无条件和条件设置中展示了令人信服的结果，例如，在具有挑战性的PhotoShape Chairs数据集上，通过改进基于gan的图像质量(FID从27.03提高到25.64)和几何合成(将MMD从5.86提高到4.26)的方法

实现流程

方法由3D对象的生成模型组成，该模型建立在最近最先进的扩散概率模型，通过注入不同尺度的噪声来恢复一个逐渐损坏3D对象的过程，3D对象被表示为辐射场，因此学习的去噪过程允许方法从噪声中生成对象辐射场

对于从1，…， T均匀采样的时间步长 t，首先根据一个固定的噪声时间表扩散一个初始辐射场 $f_0$ 。得到的 $f_t$ 通过一个有时间条件的3D-UNet，给出应用噪声 $\epsilon$ 的估计值。通过噪声预测损失 $L_{RF}$ 以及预测去噪 ${\tilde{f}}_0$ 上的渲染损失 $L_{RGB}$来指导模型。

NeRF 公式

扩散模型

扩散模型原理公式参考

Generation process

去噪过程首先从标准多元正态分布 $p(f_T):=\mathrm{N}(f_T|0,I)$ 中采样状态 $f_T$，并通过利用具有学习参数 θ 的高斯分布的反向跃迁概率 $p_{\theta }(f_{t-1}|f_t)$ 从 $f_t$ 中生成状态 $f_{t-1}$

生成过程迭代到最终状态 $f_0$，它表示由方法生成的3D对象的亮度场，考虑对(3)中高斯分布的均值进行下面的重参数化

其中 ${\epsilon }_{\theta }(f_t,t)$ 是神经网络预测的用于破坏 $f_{t-1}$ 的噪声，而 $a_t$ 和 $b_t$ 是预定义的系数，协方差 ${\Sigma }_t$ 采用预定义值，尽管它可能与数据相关

Diffusion process

扩散过程由离散时间马尔可夫链控制，其状态空间和时间边界与生成过程中提到的相同，但具有预先定义并给出的高斯转移概率

${\alpha }_t:=1-{\beta }_t，0\le {\beta }_t\le 1$

使用 $f_0$ 推导 $f_t$

${\bar{\alpha }}_t:={\prod }_{i=1}^t{\alpha }_i$

loss

损失 $L_{RF}$，用于惩罚不符合数据分布的辐射场的生成

损失 $L_{RGB}$，用于提高生成的辐射场的渲染质量

$L_{RF}$

从负对数似然(NLL)的变分上界开始推导出模型的训练目标，这个上限需要指定一个替代分布，称之为 q，因为它确实对应于控制扩散过程的分布 q，与生成过程建立了预期的基本联系，数据点 $f_0\in F$ 的NLL可以通过利用 q 得到上界

其中 $f_{t_1:t_2}$ 代表( $f_{t_1}$，…， $f_{t_2}$)，包围NLL的损耗 $L_{RF}(f_0|\theta )$ 可以进一步分解为下面的和，直到一个与 θ 无关的常数

直观来看

$\phi (\epsilon ):=N(\epsilon |0,I)$ 为高斯分布

$l_{RGB}$

用一个额外的 RGB 损失 $L_{RGB}(f_0|\theta )$ 来弥补先前的损失，旨在提高生成的辐射场的渲染质量。事实上，一旦尝试渲染辐射场，在之前的损失中隐含地用于评估生成的辐射场的质量的表示上的欧氏度量并不一定确保没有伪影。

将 $L_{RGB}(f_0|\theta )$ 定义为与(8)相似的时间特异性项 $L_{RGB}^t(f_0|\theta )$ 的和

给定一个辐射场 $f\in F$和一个视点 v，用R(v, f)表示用公式(1)从视点v 渲染 f 后得到的图像，用 ${\ell }_v(f,f^{\prime })$ 表示使用辐射场从视点v 渲染图像 f 和 f’ 之间的欧氏距离

这个想法是比较从数据分布中采样的给定亮度场 $f_0$ 的渲染，与用 t 扩散步骤损坏的相同亮度场，然后完全去噪

从 $q(f_t|f_0)$ 中采样第一个 $f_t$，然后从 $p_{\theta }(f_0|f_t)$ 中采样 $f_0$

从 $L_{RF}^t$ 的定义来看，损失趋向于 $\epsilon \approx {\epsilon }_{\theta }(f_t,t)$，从中可以得出近 ${\tilde{f}}_0^t(\epsilon ,\theta ):=f_0+\frac{\sqrt{1-{\bar{\alpha }}_t}}{\sqrt{{\bar{\alpha }}_t}}(\epsilon -{\epsilon }_{\theta }(f_t,t))$

对于视点 v 和 $\epsilon \phi (\epsilon )$，期望是关于先验分布 ψ 的，因为只有当阶跃 t 接近于零时，近似才是合理的，所以引入了一个权重 $w_t$，它随着阶跃值的增加而衰减(例如，使用 ${\omega }_t:\overline{=}{\bar{\alpha }}_t^2$)

Final loss

部分补全

为了适应特定的任务，需要训练GANs，而扩散模型可以在测试时有效地适应。利用这一特性来完成掩模辐射场补全的新任务。

将两者结合在掩膜亮度场补全的新任务中:给定一个亮度场和一个3D掩膜，合成一个与非掩膜区域协调的掩膜区域补全，通过逐步引导已知区域的无条件采样过程到输入 $f^{in}$ 来执行条件补全

m 是应用于输入的二进制掩码，⊙表示在体素网格上逐元素的乘法

实验

选取时刻总数为 T = 1000,扩散过程的方差从 ${\beta }_1=0.0015$增加到 ${\beta }_T=0.05$，$L_{RGB}^t$的权重${\omega }_t:\overline{=}{\bar{\alpha }}_t^2$

Limitations

虽然方法在条件和无条件辐射场合成的任务中显示出有希望的结果，但仍然存在一些局限性。与基于gan的方法相比，采样时间明显更长。在这种情况下，探索利用更快的采样方法会很有趣。最后，模型受到训练时间内存限制的最大网格分辨率的约束。这些问题可以通过探索因子化神经场表示来解决。