北大提出Repaint123：1张图2分钟转3D！纹理质量、多视角一致性新SOTA

©作者 | 张俊武、唐振宇等

单位 | 北京大学

来源 | 量子位

只需两分钟，玩转图片转 3D！还是高纹理质量、多视角高一致性的那种。

不管是什么物种，输入时的单视图图像还是这样婶儿的：

两分钟后，3D 版大功告成：

▲ 上：Repaint123 (NeRF)；下：Repaint123 (GS)

新方法名为 Repaint123，核心思想是将 2D 扩散模型的强大图像生成能力与再绘策略的纹理对齐能力相结合，来生成高质量、多视角一致的图像。此外，该研究还引入了针对重叠区域的可见性感知自适应再绘强度的方法。Repaint123 一举解决了此前方法多视角偏差大、纹理退化、生成慢等问题。

目前项目代码还未在 GitHub 公布，就有 100+ 人赶来标星码住：

Repaint123长啥样？

之前，将图像转换为 3D 的方法通常采用 Score Distillation Sampling (SDS)。尽管该方法的结果令人印象深刻，但存在一些问题，如多视角不一致、过度饱和、过度平滑的纹理以及生成速度缓慢。

▲ 从上至下：输入，Zero123-XL，Magic123，Dream gaussian

为了解决这些问题，来自北京大学、鹏城实验室、新加坡国立大学、武汉大学的研究人员提出了 Repaint123。

论文链接：

https://arxiv.org/pdf/2312.13271.pdf

代码链接：

https://github.com/PKU-YuanGroup/repaint123

项目主页：

https://pku-yuangroup.github.io/repaint123/

总的来说，Repaint123 有这几点贡献：

1. Repaint123 通过综合考虑图像到 3D 生成的可控重绘过程，能够生成高质量的图片序列，并确保这些图片在多个视角下保持一致；

2. Repaint123 提出了一个简单的单视图 3D 生成的基准方法。 

在粗模阶段，它利用 Zero123 作为 3D 先验，并结合 SDS 损失函数，通过优化 Gaussian Splatting 几何，快速生成粗糙的 3D 模型（仅需 1 分钟）。在细模阶段，它采用 Stable Diffusion 作为 2D 先验，并结合均方误差（MSE）损失函数，通过快速细化网格纹理，生成高质量的 3D 模型（同样只需 1 分钟）。 

3. 大量的实验证明了 Repaint123 方法的有效性。它能够在短短 2 分钟内，从单张图像中生成与 2D 生成质量相匹配的高质量 3D 内容。

▲ 实现3D一致且高质量的单视角3D快速生成

下面来看具体方法。Repaint123 专注于优化 mesh 细化阶段，其主要改进方向涵盖两个方面：生成具有多视角一致性的高质量图像序列以及实现快速而高质量的 3D 重建。

1. 生成具有多视角一致性的高质量图像序列

生成具有多视角一致性的高质量图像序列分为以下三个部分：

▲ 多视角一致的图像生成流程

DDIM反演

为了保留在粗模阶段生成的 3D 一致的低频纹理信息，作者采用了 DDIM 反演将图像反演到确定的潜在空间，为后续的去噪过程奠定基础，生成忠实一致的图像。

可控去噪

为了在去噪阶段控制几何一致性和长程纹理一致性，作者引入了 ControlNet，使用粗模渲染的深度图作为几何先验，同时注入参考图的 Attention 特征进行纹理迁移。此外，为了执行无分类器引导以提升图像质量，论文使用 CLIP 将参考图编码为图像提示，用于指导去噪网络。

重绘

渐进式重绘遮挡和重叠部分为了确保图像序列中相邻图像的重叠区域在像素级别对齐，作者采用了渐进式局部重绘的策略。在保持重叠区域不变的同时，生成和谐一致的相邻区域，并从参考视角逐步延伸到 360°。

然而，如下图所示，作者发现重叠区域同样需要进行细化，因为在正视时之前斜视的区域的可视分辨率变大，需要补充更多的高频信息。另外，细化强度等于 1-cosθ*，其中 θ* 为之前所有相机视角与所视表面法向量夹角 θ 的最大值，从而自适应地重绘重叠区域。

▲ 相机视角与细化强度的关系

为了选择适当的细化强度，以在提高质量的同时保证忠实度，作者借鉴了投影定理和图像超分的思想，提出了一种简单而直接的可见性感知的重绘策略来细化重叠区域。

2. 快速且高质量的3D重建

正如下图所展示的，作者在进行快速且高质量的 3D 重建过程中，采用了两阶段方法。

▲ Repaint123两阶段单视角3D生成框架

首先，他们利用 Gaussian Splatting 表示来快速生成合理的几何结构和粗糙的纹理。同时，借助之前生成的多视角一致的高质量图像序列，作者能够使用简单的均方误差（MSE）损失进行快速的 3D 纹理重建。

一致性、质量和速度最优

研究人员对多个单视图生成任务的方法进行了比较。

▲ 单视图3D生成可视化比较

在 RealFusion15 和 Test-alpha 数据集上，Repaint123 取得了在一致性、质量和速度三个方面最领先的效果。

同时，作者也对论文使用的每个模块的有效性以及视角转动增量进行了消融实验：

并且发现，视角间隔 为60 度时，性能达到峰值，但视角间隔过大会减少重叠区域，增加多面问题的可能性，所以 40 度可作为最佳视角间隔。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·