CVPR 2024 高分论文！GenN2N：一种全新的生成式NeRF编辑框架

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba和NeRF】微信交流群

添加微信：CVer5555，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

来自香港科技大学，清华大学的研究者提出了「GenN2N」，一个统一的生成式NeRF-to-NeRF的转换框架，适用于各种NeRF转换任务，例如文字驱动的NeRF编辑、着色、超分辨率、修复等，性能均表现极其出色！

论文地址：https://arxiv.org/abs/2404.02788

主页：https://xiangyueliu.github.io/GenN2N/

Github：github.com/Lxiangyue/GenN2N

近年来，神经辐射场（NeRF）因其紧凑、高质量、多功能性在三维重建、三维生成和新视角合成领域引起了广泛关注。然而，一旦创建了NeRF场景，这些方法通常缺乏对生成几何和外观的进一步控制。因此，NeRF编辑（NeRF Editing）最近成为了一个值得关注的研究重点。

目前的NeRF编辑方法通常是针对特定任务的，例如NeRF的文本驱动编辑、超分辨率、修复和着色。这些方法需要大量的特定任务领域知识。而在2D图像编辑领域，开发通用的图像到图像（Image-to-image）转换方法成为一种趋势，例如利用2D生成模型stable difussion支持多功能的图像编辑。因此，我们提出了利用基础的2D生成模型进行通用的NeRF编辑。

随之而来的挑战是NeRF和2D图像之间的表示差距，尤其是图像编辑器通常会为不同视角生成多种不一致的编辑。最近的一种基于文本的NeRF编辑方法Instruct-NeRF2NeRF对此进行了探究。其采用“渲染-编辑-聚合”的流程，通过逐步渲染多视角图像、编辑这些图像，将编辑图像聚合到NeRF中逐步更新NeRF场景。然而这种编辑方法，针对特定的编辑需求，经过大量的优化，只能生成一种特定编辑的结果，如果用户不满意则需要反复迭代尝试。

因此，我们提出了「GenN2N」，一种适用于多种NeRF编辑任务的NeRF-to-NeRF通用框架，其核心在于用生成的方式来刻画编辑过程多解性，使其可以借助生成式编辑轻松产生大量符合要求的编辑结果供用户挑选。

在GenN2N的核心部分，1）引入了3D VAE-GAN的生成式框架，使用VAE来表征整个编辑空间，来学习与一组输入的2D编辑图像对应的所有可能的3D NeRF编辑的分布，并用GAN为编辑NeRF的不同视图提供合理的监督，确保编辑结果的真实性，2）使用对比学习解耦编辑内容和视角，确保不同视角间的编辑内容一致性，3）在推理时，用户简单地从条件生成模型中随机地采样出多个编辑码，就可以生成与编辑目标对应的各种3D编辑结果。

相比于各种NeRF编辑任务的SOTA方法（ICCV2023 Oral等），GenN2N在编辑质量、多样性、效率等方面均优于已有方法。

方法介绍

我们首先进行2D图像编辑，然后将这些2D编辑提升到3D NeRF来实现生成式的NeRF-to-NeRF的转换。

A. 隐式蒸馏（Latent Distill）

我们用Latent Distill Module作为VAE的encoder，为每张编辑图像学习一个隐式的编辑码，在NeRF-to-NeRF转换中通过此编辑码控制生成的内容。所有编辑码在KL loss的约束下服从于一个良好的正态分布，以便更好地采样。为了解耦编辑内容和视角，我们精心设计了对比学习，鼓励相同编辑风格视角不同的图片的编辑码相近，不同编辑风格但视角相同的图片的编辑码互相远离。

B. NeRF-to-NeRF的转换（Translated NeRF）

我们用NeRF-to-NeRF Translation作为VAE的decoder，其以编辑码作为输入，将原始的NeRF修改为一个转换NeRF。我们在原NeRF网络隐藏层之间添加了残差层，这些残差层以编辑码作为输入来调制隐藏层神经元，使得转换NeRF既能够保留原本NeRF的信息，又可以根据编辑码来控制转换3D内容。同时，NeRF-to-NeRF Translation也作为生成器参与生成对抗训练。通过生成而非优化的方式，使得我们可以一次性得到多种转换结果，显著提升了NeRF转换效率和结果多样性。

C. 条件判别器（Conditional Discriminator）

转换NeRF的渲染图片构成了需要判别的生成空间，这些图片的编辑风格、渲染视角各异，导致生成空间非常复杂。因此我们提供一个condition作为判别器的额外信息。具体而言，判别器在鉴别生成器的渲染图片Cj（负样本）或训练数据中的编辑图片Sj（正样本）时，我们都从训练数据中再挑选一张相同视角的编辑图片Sk作为条件，这使得判别器在鉴别正负样本时不会受到视角因素的干扰。

D. 推理（Inference）

在GenN2N优化后，用户可以从正态分布中随机采样出编辑码，输入转换NeRF即可生成出编辑后的高质量、多视角一致性的3D NeRF场景。

实验

我们在多种NeRF-to-NeRF任务上进行了大量的实验，包括NeRF的文本驱动编辑、着色、超分辨率、修复等。实验结果展示了GenN2N卓越的编辑质量、多视角一致性、生成的多样性、和编辑效率。

A. 基于文本的NeRF编辑

B. NeRF着色

C. NeRF超分辨率

D. NeRF修复

对比实验

我们的方法与各种特定NeRF任务的SOTA方法进行了定性和定量对比（包括文本驱动编辑、着色、超分辨率和修复等）。结果表明，GenN2N作为一个通用框架，其表现与特定任务SOTA相当或者更好，同时编辑结果具有更强的多样性（如下是GenN2N与Instruct-NeRF2NeRF在基于文本的NeRF编辑任务上的对比）。

A. 基于文本的NeRF编辑

了解更多实验、方法内容，请参考论文主页。

团队介绍

该论文来自香港科技大学谭平团队、清华大学3DVICI Lab、上海人工智能实验室和上海期智研究院，论文的作者为香港科技大学学生刘襄阅，清华大学学生薛晗，香港科技大学学生罗堃铭，指导老师为清华大学弋力老师和香港科技大学谭平老师。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba和NeRF交流群成立

扫描下方二维码，或者添加微信：CVer5555，即可添加CVer小助手微信，便可申请加入CVer-Mamba和NeRF微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba或者NeRF+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer5555，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看