SinDiffusion: Learning a Diffusion Model from a Single Natural Image

SinDiffusion: Learning a Diffusion Model from a Single Natural Image

论文地址：https://arxiv.org/abs/2211.12445

项目地址：https://github.com/WeilunWang/SinDiffusion

Abstract

我们提出了SinDiffusion，利用去噪扩散模型从单个自然图像中捕获补丁的内部分布。与现有的基于GAN的方法相比，SinDiffusion显著提高了生成样本的质量和多样性。它基于两个核心设计。首先，SinDiffusion在单个尺度上使用单个模型进行训练，而不是在之前的工作中作为默认设置的尺度逐步增长的多个模型。这避免了错误的积累，这会在生成的结果中导致特征伪影。其次，我们发现扩散网络的补丁级接受场对于捕获图像的补丁统计信息至关重要，因此我们重新设计了扩散模型的网络结构。结合这两种设计使我们能够从一张图像中生成逼真和多样化的图像。此外，由于扩散模型固有的能力，SinDiffusion可以应用于各种应用，如文本引导的图像生成和图像绘制。在大范围图像上的大量实验证明了我们提出的方法对斑块分布建模的优越性。

1. Introduction

从单个的自然图像生成图像，由于其应用的多样化，越来越受到人们的关注。本任务旨在从单个自然图像中学习一个无条件生成模型，通过捕获补丁的内部统计数据，生成具有相似视觉内容的不同样本。经过训练后，生成模型不仅可以生成高质量的任意分辨率的不同图像，而且很容易适应多种应用，即图像编辑、图像协调和图像-图像转换。

这项任务的开创性方法是SinGAN[36]，它构建了自然图像的多个尺度，并训练了一系列GANs来学习单张图像中补丁的内部统计信息。SinGAN的核心思想是在逐步增长的规模上训练多个模型。这将成为该方向的默认设置。然而，我们可以观察到这些方法生成的图像并不令人满意。这是因为这些方法积累了在小范围内产生的小细节误差，然后导致结果图像中明显的特征伪影(见图2)。

在本文中，我们提出了一种新的框架，称为单图像扩散模型(SinDiffusion)，用于从单个自然图像中学习。SinDiffusion是基于最近发展起来的去噪扩散概率模型(DDPM)。我们发现，多个模型在渐进增长尺度对于从单个图像中学习并不重要，在单个尺度上训练的单个基于扩散的模型非常适合这项任务。虽然扩散模型是一个多步生成过程，但它不存在累积误差的问题。这是因为扩散模型具有系统的数学公式，中间步骤的误差可以看作是噪声，在扩散过程中可以进行细化。

SinDiffusion的另一个核心设计是限制扩散模型的接受域。我们重新考察了之前扩散模型[7]中常用的网络结构，发现它具有较强的能力和较深的结构。网络结构有一个大的接受域，可以覆盖整个图像，这导致模型倾向于记忆训练图像，从而生成与训练图像完全相同的图像。为了鼓励模型学习补丁统计信息，而不是记住整个图像，我们仔细设计了网络结构，并引入了补丁去噪网络。与之前的扩散结构相比，SinDiffusion减少了原始去噪网络结构中的降采样次数和残差块数量。通过这种设计，SinDiffusion通过学习单个自然图像来生成高质量和多样化的图像(参见图2)。

我们提出的SinDiffusion具有针对各种应用的灵活性优势(见图1)。它可以用于各种应用，而无需对模型进行任何重新训练。在SinGAN中，下游应用主要是通过将条件输入预先训练的不同规模的GANs来实现的。因此，SinGAN的应用仅限于给定的“空间对齐”条件。与此不同的是，SinDiffusion通过设计采样程序可用于更广泛的应用。SinDiffusion通过无条件训练学习预测数据分布的梯度。假设有一个分数函数（即$L-p$距离或一个预先训练好的网络，如CLIP[31]）来描述生成的图像与条件之间的相关性，我们利用相关性分数的梯度来指导SinDiffusion的采样过程。通过这种方式，SinDiffusion能够生成既符合数据分布又对应于给定条件的图像。

为了证明我们提出的框架的优越性，我们对包括风景和著名艺术在内的各种自然图像进行了实验。定量和定性结果都证明SinDiffusion可以生成高保真和多样化的结果。下游应用进一步证明了我们的SinDiffusion的实用性和灵活性。

总的来说，贡献总结如下：

• 我们提出了一种新的基于扩散的框架，名为SinDiffusion，用于从单个自然图像中捕获补丁的内部统计信息。

• 我们介绍了SinDiffusion中的两个关键成分:单尺度训练和具有补丁级接受域的新网络，这些技术对于生成高质量和多样化的图像至关重要。

• 我们利用SinDiffusion的优势，探索更多的下游应用，包括文本引导的图像生成，图像绘制等。

• 对各种自然图像，即风景和著名艺术的大量实验，证明了我们的框架的有效性和广泛适用性。

2. Related Work

在本节中，我们将简要回顾相关主题，包括去噪扩散概率模型和单幅图像生成。

2.1. Denoising Diffusion Probabilistic Models

作为一类新的生成模型，[7]去噪扩散概率模型与生成对抗网[8]相比，在各种任务上都取得了显著的成功。扩散模型是一个参数化的马尔可夫链，它优化似然函数的下变分界，以生成匹配真实分布的样本。Ho等[12]首先提出了扩散模型，Dhariwal和Nichol[7]进一步展示了扩散模型的潜力，在ImageNet数据集[6]上实现了比GAN等其他生成模型更好的图像样本质量。此后，越来越多的研究者将注意力转向扩散模型[2,10,13,14,17,18,20,22,26-29,32-35,38]。sahara等[33]利用扩散模型成功实现超分辨率。Pattle[32]探讨了四个图像到图像转换问题的扩散模型，即着色、修补、裁剪和JPEG解压。并有两个并行的工作[10,29]将扩散模型应用于文本-图像生成问题。

上述方法通过直接在相应的数据集上训练来处理条件图像生成。扩散模型还能够利用预先训练的无条件模型来解决条件图像生成问题。Bahjat等人[16]提出了一种无监督后验抽样方法，即DDRM，用预训练的扩散模型来解决任何线性逆问题，例如图像修补和着色。ILVR[5]在扩散模型中指导生成过程，根据给定的参考图像生成高质量的图像。DDIBs[39]和EGSDE[48]将预训练的扩散模型应用于未配对图像到图像的转换任务。[3]引入了文本等多模态信息作为生成过程的指导，生成与文本相关的图像。利用扩散模型的特点，我们的SinDiffusion还可以生成与条件相关的图像来解决各种图像处理任务。

2.2. Single Image Generation

单个图像生成[1,4,9,11,24,37,40,41,43,46,47,49]的目的是通过学习单个图像的内部patch分布来生成多样化的结果。在这一问题上的开创性工作是SinGAN[36]，它首次探索了这一问题，并提出了一系列基于图像金字塔的PatchGAN[15]，以分层方式生成不同的结果。一个并发工作，即InGAN[37]，训练一个条件GAN来解决基于几何变换的相同问题。此后，越来越多的研究者开始关注这一新兴课题。ExSinGAN[46]训练三个模块化GANs对结构、语义和纹理分布进行建模，学习一个可解释的生成模型。ConSinGAN[11]通过以连续的多阶段方式并发训练多个阶段来改进SinGAN。然而，这些方法都是基于SinGAN的多尺度GAN结构，可能会累积误差，导致生成结果不理想，产生特征伪影。为此，我们提出了一个基于扩散模型的框架，从单个的自然图像中生成逼真和多样化的结果。

3. Methodology

在本文中，我们提出了一个名为SinDiffusion的新框架，用于从单个自然图像中学习内部分布。与以往工作中的渐进增长设计不同，SinDiffusion在单个尺度上使用单个去噪模型进行训练，从而防止了误差的积累。此外，我们发现扩散网络的补丁级接受场在捕获内部补丁分布中起着重要作用，并设计了一种新的去噪网络结构。基于这两个核心设计，SinDiffusion从单一的自然图像生成高质量和多样化的图像。本节的其余部分组织如下：我们首先回顾SinGAN和展示SinDiffusion的动机。然后介绍了SinDiffusion的结构设计。

3.1. Revisiting SinGAN

我们首先简要回顾SinGAN。图3(a)给出了SinGAN的生成过程。为了从一张图像生成不同的图像，SinGAN的一个关键设计是建立一个图像金字塔，并逐步增加生成的图像的分辨率。在每个$n$尺度上，对前一个尺度${\tilde{x}}_{n+1}$的图像进行上采样，并与输入噪声图$z_n$一起馈送到PatchGAN中，生成$n$尺度的图像，公式如下，
$${\tilde{x}}_n=G_N\left({\alpha }_n\left({\tilde{x}}_{n+1}\right){\uparrow }^r+\left(1-{\alpha }_n\right)z_n\right)\text{\hspace{1em}(1)}$$
其中${\alpha }_n$是混合因子，随着$n$的减小而减小。

假设在小范围的输出图像中有小的细节误差。随着输出分辨率的增加，这些细节误差会在输出图像中累积，从而导致最终输出不理想。通过分析，我们发现最近开发的去噪扩散概率模型(DDPMs)[12]并没有受到这个问题的困扰，因为它们在扩散过程中自然地处理了细节误差。

为此，我们在图3(b)中提出了一个名为SinDiffusion的新框架。与SinGAN不同，SinDiffusion在单个尺度上使用单个去噪网络执行多步生成过程。虽然SinDiffusion也采用了像SinGAN一样的多步生成过程，但生成的结果是高质量的。这是因为扩散模型是建立在对数学方程进行系统推导的基础上的，中间步骤产生的误差在扩散过程中被反复细化为噪声。

3.2. SinDiffusion

SinDiffusion是一个基于扩散的模型，在单一尺度上训练，学习内部补丁统计信息。我们首先回顾常用的扩散模型[7]，发现它们倾向于生成与训练图像完全相同的图像。这是因为去噪网络具有很强的接受域能力，覆盖了整个图像，导致网络记忆训练图像，而不是学习内部的补丁分布。基于此，我们假设接受场在学习内部补丁统计信息中起着重要作用，并且扩散网络的补丁级接受场对于单个图像生成至关重要且有效。

我们研究了代多样性与去噪网络的接受域之间的关系。通过修改去噪网络的网络结构来改变接收野。我们设计了四种接受域不同但能力相当的网络结构，并在单一自然图像上训练这些模型。图4显示了不同接受域的模型生成的结果。可以观察到，当接受域较小时，SinDiffusion生成的生成结果往往更多样化，反之亦然。然而，我们发现极小感受野模型并不能保持图像的合理结构。因此，一个合适的接受域对于获取合理的补丁统计信息是非常重要和必要的。

在此基础上，我们重新设计了常用的扩散模型，并引入了用于单幅图像生成的patch-wise去噪网络。图5给出了SinDiffusion中patch-wise降噪网络的概述并与之前的去噪网络进行了比较。首先，我们通过减少下样本和上样本操作来减小去噪网络的深度，这大大扩展了接受域。同时，去噪网络中原本深层使用的注意层自然被去除，使得SinDiffusion成为一个适用于任意分辨率生成的全卷积网络。其次，我们通过减少每个分辨率中的时间嵌入残差块来进一步限制SinDiffusion的接受场。通过这种方式，我们绘制了一个具有适当接受野的patch-wise去噪网络，产生了逼真和多样化的结果。

我们用原始的去噪损失来训练SinDiffusion。在扩散模型中，给定一个训练图像$x$和一个随机时间步 t ∈ { 0 , 1 ， … T } t \in {\{ {0,1，…T} \}} t∈{0,1，…T}，生成图像$\tilde{x}$的一个噪声版本，如下所示，
$$\tilde{x}=\sqrt{{\alpha }_t}x+\sqrt{1-{\alpha }_t}ϵ,\text{\hspace{1em}(2)}$$
其中$ϵ$为从标准高斯分布采样的噪声。${\alpha }_t$是时间步长t的噪声调度器。$t$在我们的SinDiffusion中被设置为1000。训练SinDiffusion通过预测所涉及的噪声$ϵ$来重建训练图像$x$ 和时间步长$t$，公式如下：
$$\mathcal{L}={\mathbb{E}}_{t,ϵ}\left[{\Vert ϵ-{ϵ}_{\theta }(\tilde{x},t)\Vert }_2\right]\text{\hspace{1em}(3)}$$
经过训练后，SinDiffusion可以通过迭代去噪过程生成不同的图像，其公式如下：
$$x_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\beta }_t}}{ϵ}_{\theta }\left(x_t\right)+{\mathbf{z}}_t\right),\text{\hspace{1em}(4)}$$
其中${\alpha }_t$， ${\beta }_t$为扩散模型中的方差调度因子。$z_t$为时间步长$t$所涉及的高斯噪声。

4.Experiments

4.1. Setup

Datasets. 为了评估我们方法的有效性，我们对在线收集的各种自然图像进行了实验，包括风景和艺术。此外，为了系统地评估量化性能，我们还在自然景观数据集上进行了实验，即Places50。Places50是SinGAN中使用的50张风景图像的集合(50张图像来自Places365数据集[50])。我们在Places50中的每张图像上训练每个SinDiffusion模型，并评估生成结果的保真度和多样性。

Implementation details. 我们用AdamW优化器[25]训练我们的SinDiffusion。在训练过程中，我们采用衰减为0.9999的指数移动平均(EMA)。整个框架由Pytorch实现，实验在NVIDIA Tesla V100上进行。

Evaluation metric. 我们的目标是评估生成图像的视觉质量和多样性。对于视觉质量，在SinGAN[36]之后，我们采用单幅图像的Frechet Inception Distance (SIFID)度量。与FID类似，SIFID测量生成图像与真实图像之间的斑块特征分布的偏差。为了评估生成多样性，我们计算了LPIPS度量[45]在多模态生成结果之间测量的平均距离。

4.2. Qualitative Evaluation

SinDiffusion随机生成图像的定性结果如图6所示，补充材料中包含了更多的定性结果。我们以自然形象和著名艺术的形象来训练我们的SinDiffusion。对于每个训练图像，我们首先给出相同纵横比下的生成图像。然后，我们与训练图像生成不同纵横比的图像，以演示我们的SinDiffusion在不同分辨率下的泛化。可以观察到，对于不同的分辨率，我们的SinDiffusion可以生成与训练图像具有相似模式的真实图像。

此外，我们探索了SinDiffusion从单个图像生成高分辨率图像的方法。图13给出了训练图像和生成的结果。训练图像为分辨率为486 × 741的风景图像，包含丰富的云、山、草、花、湖等元素。为了适应高分辨率的图像生成，我们将SinDiffusion扩展为增强版，具有更大的接收域和网络能力。与图3中的结构相比，增强版本在每个尺度上有4个下采样层和一个额外的时间嵌入resblock。通过增强的SinDiffusion，我们生成了分辨率为486 × 2048的高分辨率长卷轴图像。从图13可以看出，我们的结果保持了训练图像的内部布局，并泛化了新的内容。

4.3. Comparison with previous methods

我们将我们的SinDiffusion与几种具有挑战性的方法进行比较，即SinGAN [36]， ExSinGAN [46]， ConSinGAN[11]和GPNN[9]。定量结果见表1。与之前基于GAN的方法相比，在逐步细化的帮助下，SinDiffusion实现了最先进的性能。值得注意的是，我们的方法极大地提高了生成图像的多样性，在Places50数据集上训练的50个模型的平均LPIPS得分+0.082，超过了最具挑战性的方法。

除了定量结果之外，我们还在图8中展示了Places50数据集上的定性结果。由SinGAN、ExSinGAN和ConSinGAN生成的图像在细节上显示不合理的结构和伪影。这是由于多尺度结构中的误差累积，放大了最初几个尺度产生的伪影。GPNN能够生成逼真的图像。然而，由于GPNN从训练图像中克隆最近的补丁，其生成的图像失去了补丁级的多样性，趋于与训练图像相似。与这些方法不同，SinDiffusion生成的图像具有合理的结构和清晰的细节，能够从训练图像中概括出新的模式。

此外，我们进行了用户研究，以评估生成图像的视觉性能。有20名志愿者参与了这项研究。在这项研究中，我们为每个配对用户研究提供了10对生成的结果（总共40对）。志愿者被要求回答这个问题，即哪一组图像表现出更多的多样性和更好的质量?投票结果见表2。可以观察到，我们的方法在65%以上的时间内明显优于竞争对手。

4.4. Image Manipulation

我们探讨了SinDiffusion在各种图像处理任务中的应用。我们直接将训练好的SinDiffusion模型用于所有应用程序，而不需要对架构进行更改或进一步的微调。与SinGAN不同的是，SinDiffusion通过设计采样程序，将条件图像注入到一定规模的生成金字塔中，用于各种应用。因此，除了在SinGAN中的应用，如图像编辑、图像协调和图像到图像的转换，SinDiffusion还可以进一步应用于文本引导的图像生成和图像绘制等图像处理任务。我们将详细介绍如下。

文本引导的图像生成。为了从与给定文本对应的单个图像中生成图像，我们通过预先训练的视觉语言模型$C(\cdot ，\cdot )$，即CLIP的梯度来指导采样过程。假设预先训练的扩散模型具有估计的均值${\mu }_{\theta }(x_{t-1}|x_t)$，通过扰动均值可以生成与给定文本$L$对应的图像，其公式如下，
$${\hat{\mu }}_{\theta }\left(x_{t-1}\mid x_t\right)={\mu }_{\theta }\left(x_{t-1}\mid x_t\right)+s\cdot {\nabla }_{x_t}\log C\left(x_t,L\right),\text{\hspace{1em}(5)}$$
其中超参数$s$是指导尺度，它平衡了给定文本的保真度和对应性。

图15给出了SinDiffusion和以往方法的文本引导图像生成结果。我们在各种图像上训练SinDiffusion，并使用文本作为条件，从单个图像生成具有不同数量物体或不同形状的图像。从图中可以看出，通过改变条件文本，SinDiffusion能够从训练图像控制地生成逼真的图像。相比之下，以往的方法在单个图像设置下无法生成与文本相对应的图像。这表明我们提供了一种通过高级语义控制单幅图像模型的有效方法。

Image outpainting. 图像外绘旨在生成超出图像边缘的内容。理想情况下，通过迭代图像绘制，我们可以将有限大小的图像扩展到无限大小。由于我们的SinDiffusion模型从训练图像中学习了补丁的内部分布，因此它固有地能够想象给定图像之外的内容。假设一个预训练的扩散模型具有迭代潜在的$x_{\theta }(z_t)$，我们通过替换给定的区域来绘制自然图像$x^{\alpha }$，其公式如下：
$${\hat{x}}_{\theta }\left(z_t\right)=x_{\theta }\left(z_t\right)\cdot m^a+x_{t-1}^a\cdot \left(1-m^a\right),\text{\hspace{1em}(6)}$$
其中$m_{\alpha }$为外绘区域。$X_{t-1}^{\alpha }$是时间步长$t-1$时自然图像$x^{\alpha }$的噪声版本。

在图10中，我们将SinDiffusion与之前的一些图像绘制方法DeepFillv2 [44]， Boundless[42]和InfinityGAN[23]进行了比较。从图中可以看出，SinDiffusion通过学习patch分布，生成的图像合理逼真，内容符合intrinsic分布。相比之下，之前的方法会产生不现实和模糊的结果，无法预测原始图像之外的内容。这表明SinDiffusion算法对于单幅自然图像的外绘具有更高的效率和灵活性。

Other image manipulation task. SinDiffusion也可以应用于先前方法中的图像处理任务，即图像编辑、图像协调和图像到图像的转换。受[5]的启发，我们从参考图像$y$生成，设计采样过程如下，
$${\hat{x}}_{\theta }\left(z_t\right)={\varphi }_N\left(y_{t-1}\right)+x_{\theta }\left(z_t\right)-{\varphi }_N\left(x_{\theta }\left(z_t\right)\right),\text{\hspace{1em}(7)}$$
其中${\varphi }_N(\cdot )$为线性低通滤波操作。$Y_{t-1}$为参考图像y在时间步长$t-1$处的噪声版本。SinDiffusion的一些图像处理结果如图1所示，更多结果包含在Supplementary Material中。

4.5. Ablation Study

我们通过消融实验来评估SinDiffusion中几个重要设计的有效性，即是否利用SinDiffusion的多尺度结构和接受场。我们在Places50数据集的一个子集上进行实验。

Multi-scale v.s. Single-scale. 与以往的多尺度方法不同，我们引入了扩散模型来解决单尺度问题。为了验证单尺度设计的有效性，我们设计了一个基线变量作为比较。作为一种替代方法，我们将SinGAN中每个尺度的GAN转换为扩散模型，从而提出了单图像生成的多尺度扩散模型。从表3可以看出，SinDiffusion的性能优于多尺度扩散模型。同时，与多尺度扩散模型相比，SinDiffusion的网络参数和计算量要小得多，这也体现了单尺度设计的优势。

Receptive field. 在3.2节中，我们已经展示了一些关于感受野如何影响生成结果的例子。我们将在这里进一步进行更完整的分析。定量结果见表4。从表中可以看出，SinDiffusion用更小的接收野生成更多样化的图像。然而，生成图像的保真度(SIFID)随着感受野的增加而增加。因此，我们采取了一个合适的接受领域，以权衡发电质量和多样性。

5. Conclusion

在本文中，我们首次尝试探索单幅图像生成的扩散模型，并提出了一个新的框架，称为单幅图像扩散模型(SinDiffusion)。特别是，我们发现接受野在生成多样化图像中起着重要作用，并设计了一个patch-wise去噪网络来生成逼真和多样化的图像。此外，利用训练好的SinDiffusion模型，我们研究了各种图像处理任务，即文本引导的图像生成和图像绘制。在各种自然图像和Places50数据集上的大量实验证明了我们方法的有效性。我们的方法在SIFID和LPIPS指标方面达到了最先进的性能，与以前的方法相比，生成的图像显示了更好的视觉质量。在图像处理方面的表现进一步证明了SinDiffusion的实用性和灵活性。

Supplementary Material

A. Implementation Details

B. Additional Experiment Results

B.1 More Qualitative Results

B.2 Image Manipulation