【荐读IEEE TPAMI】用于快速视图合成的级联和通用化的神经辐射场

题目：Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis

用于快速视图合成的级联和通用化的神经辐射场

作者：Phong Nguyen-Ha, Lam Huynh, Esa Rahtu, Jiri Matas, and Janne Heikkilä

---

摘要

我们提出了一种级联和可泛化的神经辐射场方法，用于视图合成。最近的泛化视图合成方法可以使用一组附近的输入视图渲染高质量的新视图。然而，由于神经辐射场的均匀点采样特性，渲染速度仍然很慢。现有的特定场景方法可以有效地训练和渲染新视图，但不能泛化到未见过的数据。我们的方法通过提出两个新颖的模块来解决快速和泛化视图合成的问题：一个粗略的辐射场预测器和一个基于卷积的神经渲染器。该架构基于隐式神经场推断一致的场景几何，并使用单个GPU高效渲染新视图。我们首先在DTU数据集的多个3D场景上训练CG-NeRF，网络仅使用光度损失就能在未见过的实拍和合成数据上产生高质量和准确的新视图。此外，我们的方法可以利用单个场景的更密集的参考图像集来产生准确的新视图，而不依赖于额外的显式表示，同时保持预训练模型的高速渲染。实验结果表明，CG-NeRF在各种合成和真实数据集上超越了最先进的可泛化神经渲染方法。

关键词