如何“正确“使用Stable Diffusion？文本到图像扩散模型中记忆化实用分析（浙大）

论文链接：https://arxiv.org/pdf/2405.05846 它能被生成吗？文本到图像扩散模型中记忆化的实用分析 过去几年见证了由扩散模型驱动的文本引导图像生成领域的重大进展。然而，已经显示出文本到图像扩散模型容易受到训练图像记忆的影响，引发了对版权侵犯和隐私侵犯的担忧。在这项工作中，本文对文本到图像扩散模型中的记忆化进行了实际分析。针对需要保护的一组图像，本文对它们进行了量化分析，而无需收集任何prompt。具体而言，本文首先正式定义了图像的记忆化，并确定了记忆化的三个必要条件，分别是相似性、存在性和概率性。然后，本文揭示了模型预测误差与图像复制之间的相关性。基于这种相关性，本文提出利用反演技术来验证目标图像对记忆化的安全性，并测量它们被记忆化的程度。模型开发人员可以利用本文的分析方法发现被记忆化的图像，或可靠地宣称对抗记忆化的安全性。对流行的开源文本到图像扩散模型 Stable Diffusion 进行了大量实验，证明了本文分析方法的有效性。

介绍

扩散概率模型在图像生成、视频、3D 点云等方面展现了令人印象深刻的能力。这些技术为商业系统或社区奠定了基础，如 Stable Diffusion、Midjourney、DALL·E 2/3 和 Imagen，吸引了数百万活跃用户。扩散模型的普及可以归因于分层去噪过程，该过程在数十亿数据上训练时提供了高稳定性，并且具备了对多模态条件生成的可扩展性。

用于训练最先进的文本到图像生成模型的大规模数据集，例如开源图像描述数据集 LAION-5B，被广泛认为包含可能引起版权和隐私担忧的内容。例如，据报道，LAION-5B可能未经授权地涉及摄影师的作品，其中还发现了私人医疗照片。由于未经筛选的训练数据，扩散模型可能生成侵犯创作者版权或暴露个人信息的内容。

在这项工作中，本文专注于文本到图像扩散模型中的记忆化问题，这是对训练数据误用的最坏情况。文本到图像扩散模型中的记忆化是一种生成失败，当输入一定的prompt但不同的随机种子时，模型总是刚性地生成与其训练集中相同的数据。这种类型的生成被视为失败，因为概率生成模型应该生成新颖和多样化的图像。

下图1展示了 Stable Diffusion 中记忆化的两个例子。文本到图像扩散模型中的记忆化不仅是一种类似于生成对抗网络（GAN）中的mode collapse的技术问题，而且也是对图像所有者利益的偏见。在版权保护方面，即使模型开发者被授权使用受版权保护的图像训练他们的模型，图像所有者也不会希望他们的图像被复制给任意用户，因为这将导致无法控制的传播。

在过去的几年中，文本到图像模型因生成模仿艺术家风格的衍生图像而面临诉讼。然而，与法律地位尚未确定的衍生生成相比，对受版权保护的图像的精确复制是毫无争议地不可容忍的。为了保护隐私，一系列研究提出使用合成数据代替真实数据以防止共享私人信息。为了实现这一目标，潜在的记忆化也应该被谨慎地回避。Carlini等人和Somepalli等人首次证明了文本到图像模型中的记忆化的存在。他们研究了最流行的开源文本到图像扩散模型 Stable Diffusion，并发现了触发模型生成训练图像的prompt。

虽然已发现文本到图像扩散模型容易受到记忆化的影响，但实际分析方法仍然是一个具有挑战性的问题。首先，现有的分析方法都是基于prompt的：它们首先使用原始训练集中的标题生成大量候选图像，然后检测低多样性的风险生成，搜索与训练图像高度相似的生成图像，或检测预测误差较高的prompt。

基于prompt的分析方法无法确定任意图像是否被记忆化。事实上，只有在发现了记忆化后，它们才能意识到哪些图像可能被记忆化。此外，对于那些训练标题似乎不触发记忆化现象的其他图像，它们对记忆化的安全性仍然不确定，并且很难通过现有方法进行分析，因为不可能对所有prompt进行穷尽测试。因此，实际分析方法希望是基于图像而不是基于prompt的。其次，实际分析方法需要量化记忆化。

先前的工作重点是发现被记忆化的图像，而缺乏对每个实例的记忆化的准确描述。对记忆化的量化测量不仅为记忆化图像的安全风险提供了有力的证据，而且允许模型开发者负责地向图像所有者声明对正常图像的安全性。

为了应对这些挑战，本文考虑了一个实际场景，在这个场景中，模型开发者预先定义了一组受版权保护或保护隐私的目标图像。他们的目标是对目标图像进行安全分析，以决定模型是否记忆了它们，并量化它们被记忆的程度。基于这项分析，开发者能够向数据提供者声明目标图像对记忆化的安全性，或者提前发现被记忆的图像并修复这一漏洞。

为了执行安全分析，本文首先正式定义了扩散模型中的图像记忆化，并确定了说一个图像被记忆化的三个条件，分别命名为相似性、存在性和概率性。

相似性条件意味着生成的图像应该与目标图像完全相同。正如之前提到的，这个条件反映了训练数据最坏情况下的误用，并构成了重大的安全威胁。本文不是计算生成图像和目标图像之间的相似度，而是利用模型的预测误差作为度量标准来识别图像的复制。 这个度量标准与以前的度量标准在识别图像复制方面同样有效。它还使本文能够反转模型以找到导致复制的输入，基于这个输入本文对其他两个条件进行分析。

存在性条件要求存在一个prompt来触发目标图像的复制。本文提出了一个prompt反演算法来分析这个条件，并通过矛盾验证了这种prompt的存在性。

概率性条件在采样时频繁地复制目标图像。本文提出通过比较模型在目标图像上的预测误差与一个安全模型的预测误差来衡量这个条件。如果目标图像以高概率被复制，那么可以观察到一个明显的分布偏移，远离安全模型的误差分布。

本文通过矛盾验证了大规模数据上训练的无条件扩散模型是安全的，因此可以作为安全模型。本文对 Stable Diffusion 进行了全面的实验，以展示本文的分析方法的有效性。

总的来说，本文的贡献如下：

• 对文本到图像扩散模型中的记忆化进行了更实用的分析。本文的分析方法是基于图像的，不需要收集大量prompt，比基于prompt的分析方法更可靠。

• 提供了文本到图像扩散模型中记忆化的正式定义，并确定了它的三个条件。然后，本文提出了有效的度量标准和算法来衡量每个条件，最终量化了目标图像被记忆的程度。

• 通过对 Stable Diffusion 的详细实验，本文证明了本文分析方法的可行性，揭示了文本到图像扩散模型中记忆化的内在特性。

背景

Diffusion Model

扩散概率模型是一类由一系列去噪自编码器组成的潜在变量模型。编码器不是学习得来的，而是由手动设计的扩散过程取代。给定输入图像 和总共 𝑇 步，扩散过程被建模为一个马尔可夫链，逐渐向输入图像 添加高斯噪声 ，根据权重计划 ：

逐渐在最后一步 𝑇 中减小到几乎为零，以使 接近纯高斯噪声。生成图像 的过程是扩散过程的反向过程，也是一个马尔可夫链，起始于 ：

如果将扩散过程分为足够的步骤，每个反向步骤 可以通过一个高斯变换来近似，该变换经过训练以匹配相应的扩散步骤 。这是通过最小化以下目标来实现的：

其中， 是一个神经网络，用于预测添加的噪声 。训练后，普通的采样过程从随机高斯噪声 开始，并通过逐步使用 移除预测的噪声，其中当 𝑡 > 1 时， ，𝑡 = 1 时为 0。普通的采样算法在生成图像时速度极慢，因为它必须调用网络 𝑇 次（例如，在 Stable Diffusion 中为 1000 步）。为了缓解这个问题，提出了各种高效的采样算法，如 DDIM 采样器、PLMS 采样器等。

条件 Diffusion Model

扩散模型可以扩展为条件变体，以在某些输入条件的指导下生成图像，例如对象类别、文本prompt等。文本到图像模型是一种条件扩散模型，允许用户输入一些prompt来指示生成图像的期望内容。主要有两种类型的引导，即分类器引导和无分类器引导。

分类器引导还会在噪声图像 上额外训练一个分类器来预测其关联条件 𝑐，并利用分类器的梯度来指导采样。大多数扩散模型，如 Stable Diffusion，选择了无分类器引导，因为它不需要训练额外的分类器。无分类器引导隐式训练了两个模型，一个是无条件模型 ，另一个是条件模型 。这两个模型共享参数，无条件模型通过随机替换输入条件 𝑐 为 null 进行训练（对于文本条件，无条件模型始终输入空字符串）。在采样时，预测的噪声是无条件预测和条件预测的线性组合：