TPAMI 2024 | NeRF-Texture：合成神经辐射场纹理

题目：NeRF-Texture: Synthesizing Neural Radiance Field Textures

NeRF-Texture：合成神经辐射场纹理

作者：Yi-Hua Huang; Yan-Pei Cao; Yu-Kun Lai; Ying Shan; Lin Gao

---

摘要

纹理合成是计算机图形学中的一个基本问题，对各种应用都有帮助。现有的方法在处理 2D 图像纹理方面效果显著。然而，许多真实世界的纹理包含 3D 几何空间中的中观结构，例如草、树叶和织物，这些无法仅通过 2D 图像纹理有效建模。我们提出了一种新的基于神经辐射场（NeRF）的纹理合成方法，从给定的多视图图像中捕获并合成纹理。在我们提出的 NeRF 纹理表示中，具有精细几何细节的场景被分解为中观结构纹理和底层的基础形状。这使得中观结构纹理可以作为位于基础形状上的潜在特征来有效学习，这些特征被输入到同时训练的 NeRF 解码器中以表示丰富的视图相关外观。通过这种隐式表示，我们可以通过潜在特征的块匹配合成基于 NeRF 的纹理。然而，重构内容空间和潜在特征空间之间的度量不一致可能会降低合成质量。为了提高匹配性能，我们通过引入聚类约束进一步正则