【论文翻译】Unique3D：从单张图像高效生成高质量的3D网格

原标题：Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image

Kailu Wu, Fangfu Liu, Zhihan Cai, Runjie Yan, Hanyang Wang, Yating Hu, Yueqi Duan, Kaisheng Ma

GitHub | Paper | Project page | Huggingface Demo | Gradio Demo | Online Demo

图1：Unique3D展示。通过Unique3D从单视角野外图像生成的高保真和多样化的纹理网格，生成时间为30秒内。

摘要

在这项工作中，我们介绍了Unique3D，这是一种新颖的图像到3D框架，能够高效地从单视角图像生成高质量的3D网格，具有最先进的生成保真度和强大的泛化能力。之前基于Score Distillation Sampling （SDS）的方法可以通过从大型二维扩散模型中提取3D知识来生成多样化的3D结果，但它们通常面临每个案例长时间优化的问题以及不一致的现象。最近的一些工作通过微调多视角扩散模型或训练快速前馈模型来解决这一问题，并生成更好的3D结果。然而，它们仍然由于一致性问题和生成分辨率的限制，无法实现复杂的几何形状和精细的纹理。为了在单图像到3D生成任务中同时实现高保真度、一致性和效率，我们提出了一种新颖的框架——Unique3D，它包括一个多视角扩散模型和对应的法线扩散模型，用于生成带有法线图的多视角图像，以及一个多级放大过程来逐步提高生成的正交多视角图像的分辨率，最终通过一个称为ISOMER的即时一致网格重建算法，完全将颜色和几何先验整合到网格结果中。大量实验表明，Unique3D在几何和纹理细节方面显著优于其他图像到3D的基准方法。项目页面：https://wukailu.github.io/Unique3D/。

1. 引言

从单视角图像自动生成多样且高质量的3D内容是3D计算机视觉中的一项基础任务[1-5]，能够推动众多应用[6-7]，包括游戏、建筑、艺术和动画。然而，由于单视角图像中的3D几何形状的不确定性，这一任务充满挑战。最近，扩散模型的快速发展[8-10]为3D内容创作提供了新的视角。DreamFusion[11]提出的Score Distillation Sampling （SDS）通过从2D扩散模型中提取3D知识，解决了3D数据的局限性，推动了基于SDS的二维提升方法[13-17]的进展。尽管这些方法生成了多样化且吸引人的结果，但它们通常面临数小时的每个案例优化时间、几何质量差和一致性问题（如Janus问题[11]），因此在实际应用中并不实用。为了解决这些问题，一系列工作利用大规模的开放世界3D数据集[18-20]，微调多视角扩散模型[3,21,22]，通过生成的多视角图像恢复3D形状，或者直接将图像tokens映射到3D表示（如三平面或3D高斯[24]）上来训练大型重建模型（LRM）[2,23,4,5]。然而，由于网格优化中的局部不一致性[3,25]以及生成过程的分辨率限制和计算开销[2,5]，它们难以生成具有高分辨率、复杂几何细节和精细纹理的网格。

在本文中，我们提出了一种新颖的图像到3D框架——Unique3D，旨在解决上述挑战，并同时实现高保真度、一致性和泛化性。在给定输入图像后，Unique3D首先通过一个多视角扩散模型生成正交多视角图像。然后，我们引入一个多级放大策略，逐步提高生成的多视角图像的分辨率，并通过法线扩散模型生成对应的法线图。最后，我们提出了一种即时一致网格重建算法（ISOMER），能够从多个RGB图像和法线图中重建高质量的3D网格，将颜色和几何先验充分整合到网格结果中。这两个扩散模型都在过滤后的Objaverse数据集[18]的约5万条3D数据上进行训练。为了增强质量和稳健性，我们在框架中设计了一系列策略，包括在多视角扩散训练过程中引入噪声偏移通道[26]，以纠正训练和推理之间的差异，实施更严格的数据集过滤策略，并在网格重建中引入扩展正则化，以避免法线塌陷。总的来说，我们的方法能够在30秒内从单视角野外图像生成高保真、多样化且视角一致的网格，如图1所示。

我们在各种不同风格的野外二维图像上进行了大量实验。实验验证了我们框架的有效性，并显示Unique3D在生成保真度、几何细节、高分辨率和强泛化性方面优于现有方法。

总之，我们的贡献如下：

• 我们提出了一种新颖的图像到3D框架，称为Unique3D，能够在当前方法中同时实现高保真度、效率和泛化性。
• 我们引入了一种多级放大策略，逐步生成具有相应法线图的高分辨率RGB图像。
• 我们设计了一种新颖的即时一致网格重建算法（ISOMER），能够从RGB图像和法线图中重建具有复杂几何细节和纹理的3D网格。
• 大量的图像到3D任务实验证明了我们方法的有效性和生成保真度，解锁了3D生成AI领域的现实应用新可能性。

2. 相关工作

网格重建。尽管在各种3D表示（如SDF[27,28]，NeRF[29,30]，3D高斯[24]）中取得了显著进展，网格仍然是流行的3D引擎（如Blender，Maya）中使用最广泛的3D格式，且具有成熟的渲染管道。从多视角或单视角图像中高效重建高质量的3D网格是图形学和3D计算机视觉中的一项艰巨任务。早期方法通常采用繁琐且复杂的摄影测量管道，包含多个阶段，使用诸如运动结构（SfM）[31-33]、多视角立体（MVS）[34-35]和网格表面提取[36-37]等技术。在深度学习和强大GPU的驱动下，最近的一些工作[38-41,2,4,23]提出了基于梯度的网格优化，甚至训练了大型前馈重建网络，以追求更高的效率和质量。然而，它们的管道仍然面临高计算成本的问题，且难以适应复杂的几何结构。为了在效率和质量之间取得平衡，我们提出了一种新颖的即时高质量网格重建算法，能够从稀疏视图中重建具有复杂几何细节的3D网格。

SDS与3D生成。近年来，数据驱动的大规模二维扩散模型在图像和视频生成方面取得了显著成功[10,12,42,43]。然而，由于难以构建大规模的3D数据集，将其应用于3D生成并非易事。先驱工作DreamFusion[11]提出了Score Distillation Sampling（SDS）（也称为Score Jacobian Chaining[44]），通过从预训练的2D扩散模型中蒸馏3D几何形状和外观，将其从不同视角渲染出来。随后的一些工作继续增强各个方面，如保真度、提示对齐、一致性和进一步的应用[13-17,45-47]。然而，基于优化的二维提升方法受到每个案例长时间优化和多面问题[48]的限制，因缺乏显式的3D先验而难以应用。随着Zero123[49]证明Stable Diffusion[10]可以通过相机相对姿态的条件微调生成新视角图像，one-2-3-45[50]直接从Zero123生成的图像中生成合理的3D形状。尽管其效率很高，但生成的结果质量较差，缺乏纹理细节和3D一致性。

多视角扩散模型与3D生成。 为了实现高效和3D一致性，一些工作[3,21,51,22,48]通过利用大规模的3D数据[18]对二维扩散模型进行微调，生成多视角一致的图像，并使用稀疏视图重建来创建3D内容。例如，SyncDreamer[21]通过注意力层生成一致的多视角彩色图像，然后使用NeuS[52]进行重建。Wonder3D[3]显式地将几何信息编码到3D结果中，并通过跨领域扩散模型提高质量。尽管这些方法生成了合理的结果，但由于生成的多视角图像在输入超出领域（out-domain）时局部不一致，以及架构设计导致的分辨率限制，它们生成的结果仍然较为粗糙，缺乏高分辨率的纹理和几何细节。相比之下，我们的方法能够在短短30秒内生成具有更复杂几何细节和高质量纹理的3D网格。

3. 方法

本节中，我们介绍了我们的框架，即Unique3D，用于从单张野外图像高效生成高保真、可泛化的3D网格。给定输入图像，我们首先从一个多视角扩散模型和一个法线扩散模型生成四张正交多视角图像及其对应的法线图。然后，我们逐步将它们提升至高分辨率空间（见3.1节）。给定高分辨率的多视角RGB图像和法线图，最后我们通过我们即时一致的网格重建算法ISOMER（见3.2节）重建高质量的3D网格。我们的框架概述如图2所示。

图2：Unique3D的流程图。给定一张野外图像作为输入，首先通过多视角扩散模型生成四个正交多视角图像。然后，通过多级放大过程逐步提高生成的多视角图像的分辨率。给定生成的彩色图像后，我们训练法线扩散模型来生成与多视角图像对应的法线图，并使用类似的策略将其提升到高分辨率空间。最后，我们利用即时一致的网格重建算法ISOMER，从高分辨率彩色图像和法线图中重建高质量的3D网格。

3.1 高分辨率多视角生成

我们首先解释我们的高分辨率多视角生成模型的设计，该模型从单张输入图像生成四张正交视图图像。为了避免直接训练一个高分辨率（2K）的多视角扩散模型，导致过高的计算资源消耗，我们采用了一种多级生成策略，逐步提高生成的分辨率。

高分辨率多视角图像生成。 我们并不是从零开始训练，而是使用Stable Diffusion[53]的预训练权重进行初始化，并编码多视角依赖关系，对其进行微调，以获得一个能够从单张野外图像生成四张正交视图图像（分辨率为256）的多视角扩散模型。值得注意的是，这一步生成的图像分辨率相对较低，并且在领域外数据中存在多视角不一致性问题。这显著限制了最近一些工作的质量[23,4,5,3,51]。相比之下，我们在重建阶段（见3.2节）解决了多视角一致性问题。生成四张正交视图图像后，我们对多视角感知ControlNet[54]进行微调，以提高图像分辨率。该模型利用四张并置的RGB图像作为控制信息，生成相应的更清晰、更精确的多视角结果，从而将图像分辨率从256提高到512。最后，我们使用单视角超分辨率模型[55]将图像进一步放大四倍，达到2048的分辨率，在不破坏多视角一致性的情况下，获得了更清晰的边缘和细节。

高分辨率法线图预测。 仅依靠纯RGB图像很难重建正确的几何形状。为了有效捕捉目标3D形状的丰富表面细节，我们微调了法线扩散模型，来预测与多视角彩色图像对应的法线图。与上述高分辨率图像生成阶段类似，我们也使用超分辨率模型[55]将法线分辨率提高四倍，使我们的方法能够恢复高保真的几何细节，尤其是边缘的精确性。

为了增强图像生成模型和标准法线预测模型在生成具有统一背景的高质量图像时的能力，我们采用了一种通道噪声偏移策略[56]，这可以缓解由采样时的初始高斯噪声与训练样本中最嘈杂样本之间的差异所引起的问题。

3.2 ISOMER：一种高效的直接网格重建方法

尽管最近一些流行的图像到3D方法[3,57,5,2,4]生成了令人印象深刻的结果，并遵循基于字段的重建[38,39,58]方法，但它们在高分辨率应用中的潜力有限，因为它们的计算负载与空间分辨率的立方成正比。相比之下，我们设计了一种基于网格的新型重建算法，其计算负载仅与空间分辨率的平方成正比，并与面数相关，从而实现了根本性的改进。这使得我们的模型能够在几秒钟内高效地重建具有数千万个面的网格。

接下来，我们介绍我们的即时一致网格重建算法（ISOMER），这是一种稳健、准确且高效的从高分辨率多视角图像中直接重建网格的方法。具体来说，ISOMER包括三个主要步骤：（a）估计3D对象的粗略拓扑结构并直接生成初始网格；（b）采用由粗到精的策略进一步逼近目标形状；（c）显式处理多视角之间的不一致性，重建高保真且复杂的细节。值得注意的是，整个网格重建过程不超过10秒。

初始网格估计。 与基于符号距离场[59]或占据场[29]的流行重建方法不同，基于网格的重建方法[60,61]在优化过程中难以改变拓扑连接性，这要求在初始化时正确的拓扑构建。尽管初始网格估计可以通过现有方法如DMTet[38]获得，但它们无法准确重建精细的细节（如小孔或缝隙）。为了解决这个问题，我们利用前后视图直接估计初始网格，这对于准确恢复从正面可见的所有拓扑连接组件非常快速。具体来说，我们整合了正视图的法线图，通过积分公式获取深度图：

$d(i,j)={\int }_0^{i}n(x)\cdot d\vec{x}\approx {\sum }_{t=0}^i{n}_x(t)$

尽管扩散过程生成了伪法线图，但这些图并不能形成真实的无旋法线场。为了解决这个问题，我们在积分之前对法线图进行随机旋转。该过程重复多次，然后利用这些积分的平均值来计算深度，从而提供了可靠的估计。随后，我们将每个像素映射到其对应的空间位置，从而生成物体的正面和背面的网格模型。通过泊松重建，这两个模型被无缝连接，确保了它们之间的平滑过渡。最后，我们将网格简化为2000个以下的面，用于网格初始化。

由粗到精的网格优化。 在逆向渲染[62-64]的研究基础上，我们迭代优化网格模型以最小化损失函数。在每次优化步骤中，网格经过可微分渲染以计算损失和梯度，随后根据梯度移动顶点。最后，经过若干次粗到精的迭代，模型收敛到目标对象形状的粗略近似。损失函数包括基于掩码的损失：

$L_{mask}={\sum }_i{\Vert {\hat{M}}_i-M_i^{pred}\Vert }_2^2$

其中 ${\hat{M}}_i$ 是在视图 $i$ 下的渲染掩码，$M_{pred}^i$ 是前一小节在视图 $i$ 下的预测掩码。掩码损失约束了网格轮廓。此外，还包括基于法线的损失：

$L_{normal}={\sum }_i{M}_i^{pred}\otimes {\Vert {\hat{N}}_i-N_i^{pred}\Vert }_2^2$

涉及物体的渲染法线图 ${\hat{N}}_i$ 和预测法线图 $N_{pred}^i$ ，优化可见区域的法线方向，其中 ⊗ 表示元素级乘积。我们计算最终的重建损失函数为：

$L_{recon}=L_{mask}+L_{normal}$

为了应对在有限视图法线监督下可能出现的表面塌陷问题（如图3-(b)所示），我们在每一步中采用一种称为“扩展”的正则化方法。每个顶点沿着其法线方向移动一小段距离，类似于权重衰减。

显式目标优化以应对多视角不一致性和几何细化。 由于生成的多视角图像中固有的不一致性（通常是由于输入为领域外数据），没有解决方案能够完美对齐每个视点。经过上述步骤，我们只能重建一个大致匹配形状但缺乏细节的模型，这与我们对高质量网格的追求有所差距。因此，不能采用常见的最小化所有视角差异的方法，否则会导致显著的波纹缺陷，如图3-(a)所示。为了解决这一挑战，找到一个更合适的优化目标变得至关重要。在单视图监督下，虽然无法重建完整的模型，但该视图内可见区域内的网格形状可以满足监督要求，并且具备高度的细节结构。基于此，我们提出了一种新方法，为每个顶点分配一个独特的优化目标来指导优化方向。与传统隐式使用多视图图像作为优化目标不同，我们显式定义了更具鲁棒性的优化目标。我们将该显式优化目标称为ExplicitTarget，其定义如下：

(ExplicitTarget)。设 $P(v,i):({\mathbb{R}}^3,{\mathbb{N}}^{+})\to {\mathbb{R}}^2$ 为空间点 $v$ 在视图 $i$ 中的图像空间坐标，$Col(p,I_m):({\mathbb{R}}^2,{\mathbb{R}}^{H\times W\times 3})\to {\mathbb{R}}^3$ 表示图像 $I_m$ 中点 $p$ 的颜色， V M ( v , i ) : ( N + , N + ) → { 0 , 1 } V_M(v, i): (\mathbb{N}^+, \mathbb{N}^+) \to \{0,1\} VM​(v,i):(N+,N+)→{0,1} 表示顶点 $v$ 在视图 $i$ 中的可见性。我们将网格 $M$ 的ExplicitTarget $ET$ 计算为一个从网格 $M$ 中顶点集合到颜色集合的映射函数：

$E{T}_M(\mathcal{I},{\mathcal{I}}_m,v)=\{\begin{array}{ll}\frac{{\sum }_{i\in \mathcal{I}}{V}_M(v,i)W_M(v,i{)}^{2}Col(P(v,i),{\mathcal{I}}_m(i))}{{\sum }_{i\in \mathcal{I}}{V}_M(v,i)}& \text{,如果}{\sum }_{i\in \mathcal{I}}{V}_M(v,\mathcal{I})>0\\ 0,& \text{,否则,}\end{array}$

其中，$\mathcal{I}$ 是采样视图的集合，${\mathcal{I}}_m$ 是与视图对应的图像，权重因子 $W_M(v,i)=-\cos (N_v^{(M)},N_i^{(view)})$，其中 $N_v^{(M)}$ 是顶点 $v$ 在网格 $M$ 中的法线，$N_i^{(view)}$ 是视图 $i$ 的视角方向。

在函数 $E{T}_M(I,I_m,v)$ 中，顶点 $v$ 的结果通过监督视图的加权和计算，权重由余弦角度的平方决定。这是因为投影面积与余弦值成正比，且预测准确度也与余弦值正相关。ExplicitTarget的目标损失函数定义为：

${\mathcal{L}}_{ET}=\sum _i{M}_i^{pred}\otimes {\Vert {\hat{N}}_i-N_i^{ET}\Vert }_2^2$

其中，$N_i^{ET}$ 是网格 $M$ 的渲染结果，使用 { E T M ( I , N p r e d , v ) ∣ v ∈ M } \{ET_M(\mathcal{I}, N^{pred}, v) | v \in M\} {ETM​(I,Npred,v)∣v∈M} 在第 $i$ 个视点下生成。最终优化损失函数为：
${\mathcal{L}}_{refine}={\mathcal{L}}_{mask}+{\mathcal{L}}_{ET}$

至此，我们完成了ISOMER重建过程的介绍，包括初始化、重建和细化三个阶段。

在生成精确的几何结构之后，基于多视角图像进行上色是必要的。由于多视角图像之间的不一致性，上色过程采用了与细化阶段相同的方法。具体来说，网格 $M$ 的颜色为 { E T M ( I , I r g b p r e d , v ) ∣ v ∈ M } \{ET_M(\mathcal{I}, \mathcal{I}_{rgb}^{pred}, v) | v \in M\} {ETM​(I,Irgbpred​,v)∣v∈M}。此外，模型的某些区域可能无法从多视角中观察到，需要为这些不可见区域进行着色。为此，我们采用了一种高效的平滑着色算法来完成任务。更详细和具体的算法过程见附录。

4. 实验

4.1 实验设置

数据集： 使用了Objaverse数据集的一个子集，按照LGM[65]中的描述，我们采用了严格的过滤过程，排除了包含多个物体、低分辨率图像和单一方向面的场景，最终获得了约5万个物体的精炼数据集。为了解决没有厚度的表面问题，我们对每个物体的水平方向渲染了八个正交投影。通过检查每条水平光线对应的极线，我们识别出1.3万个不合格的数据。渲染时，我们使用了随机环境贴图和照明来增强数据集，从而提高模型的稳健性。为了确保生成的高质量，所有图像都以2048×2048像素的分辨率进行渲染。

图3：定性对比。我们的方法在几何和纹理质量上优于现有的工作。

网络架构： 图像生成的初始级别使用了Stable Diffusion Image Variations Model[53]的权重进行初始化，而后续级别则使用经过ControlNet-Tile[54]微调的放大版本。最后阶段使用了预训练的Real-ESRGAN模型[55]。法线图预测的初始阶段同样从上述Stable Diffusion Image Variations模型初始化。这些网络的详细信息在附录中提供。

图4：细节对比。我们将模型与InstantMesh[5]、CRM[4]和OpenLRM[67]进行了比较。我们的模型生成了精确的几何和细致的纹理。

重建细节： 初步的网格结构由分辨率为256×256的法线图推断得出，随后简化为包含2000个面的网格。重建过程使用SGD优化器[66]进行300次迭代，学习率为0.3，扩展正则化的权重设置为0.1。后续的细化阶段进行100次迭代，保持相同的优化参数。

训练细节： 整个训练过程大约需要4天时间，在8块NVIDIA RTX4090 GPU上进行。多视角图像生成的初级阶段使用3万个训练迭代，批量大小为1024。第二阶段训练了1万个迭代，批量大小为128。法线图预测训练了1万个迭代，批量大小为128。附加的训练细节可以在附录中找到。

4.2 对比实验

定性对比： 为了突出我们方法的优势，我们与现有的工作进行了全面的对比，包括CRM[4]，one-2-3-45[50]，SyncDreamer[21]，Wonder3D[3]，OpenLRM[67]，InstantMesh[5]，以及GRM[23]。为了进行公平的质量对比，我们选择展示了之前参考论文中选取的样本，这些样本来源于Wonder3D[3]，SyncDreamer[21]，CRM[4]和InstantMesh[5]。结果如图3所示。我们的结果在几何和材质质量方面显然优于现有的工作，从而凸显了我们方法在实现几何和材质细节的高分辨率方面的优势。除了上述整体质量对比之外，我们进一步展示了细节对比，如图4所示，强调了我们方法在高分辨率方面的优势。ISOMER的重建过程在10秒内完成，而从输入图像到高精度网格的整个过程在RTX4090上不到30秒即可完成。

定量对比： 根据之前的工作[69]，我们使用Google Scanned Objects（GSO）数据集对结果进行了评估。我们随机选择了30个对象，并以1024×1024分辨率渲染了正视图作为所有方法的输入。所有生成的网格结果都被标准化到边界框[-0.5, 0.5]，以确保对齐。几何质量通过计算到真实网格的距离来评估，使用的指标包括Chamfer Distance（CD），Volume IoU和F-Score。同时，我们围绕物体渲染了24个视图，选择了[0，15，30]中的一个俯仰角度，以及8个均匀分布的方位角，覆盖360度旋转。我们使用PSNR、SSIM、LPIPS和Clip-Similarity[68]来评估视觉质量。结果如表1所示。正如表中所示，我们的方法在几何和材质质量方面显著优于现有方法。

4.3 消融研究与讨论

消融研究： 我们分析了ISOMER中ExplicitTarget和扩展正则化的重要性。我们在图5中比较了有无ExplicitTarget和扩展正则化的样本。显然，ExplicitTarget显著改善了几何重建结果，而扩展正则化避免了可能的塌陷现象。在某些复杂的情况下，ExplicitTarget明显提升了重建效果，而扩展正则化有效防止了表面塌陷问题。

5. 结论

本文中，我们介绍了Unique3D，一个开创性的图像到3D框架，它能够从单张视图图像中高效地生成具有前所未有的保真度和一致性的高质量3D网格。通过结合先进的扩散模型与强大的重建方法ISOMER，Unique3D在30秒内生成了具有复杂几何细节和精细纹理的网格，显著推进了单张图像生成3D内容的技术水平。

局限性与未来工作： 虽然我们的方法能够快速生成高保真的纹理化网格，但在某些情境下仍然面临挑战。多视角预测模型对于倾斜或非透视输入的预测可能不够理想。此外，当前的几何着色算法尚不支持纹理贴图。未来，我们计划通过在更大规模且多样化的数据集上进行训练，来增强多视角预测模型的鲁棒性。

（引用等略）