14、One-dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications

简介

github

以往的方法往往以对非目标概念的退化为代价来实现对扩散模型的目标概念去除。它们遭受不可预测的世代变化，当目标概念数量增加时，这种变化甚至升级为概念侵蚀。相比之下，SPM实现了精确的多概念擦除，同时保留了预训练DM的生成能力。此外，特定于概念的SPM提供了向其他模型的无需训练的可移植性，使其成为一种通用的解决方案。

学术界现有的概念擦除方法都是基于全参数或基于规范的微调，从中观察到以下问题:

• 代向侵蚀的变化:目标消除过程中的参数漂移导致各代之间的变化和潜在变形，甚至不同程度地侵蚀其他概念，这在多概念擦除中更为明显;
• 迁移无能和部署效率低下:先前特定于模型的擦除阻碍了概念的灵活组合和向其他模型的无需培训的迁移，导致成本随着部署场景的增加而线性增长。

为了实现非侵入性的、精确的、可定制的和可转移的消除，将擦除框架建立在一维适配器上，以便在通用擦除应用程序中一次从大多数dm中擦除多个概念。该方法将半透结构作为膜注入到任意DM中进行定向擦除，同时通过一种新的潜锚微调策略有效地减轻了蚀变和侵蚀现象。一旦获得spm, spm可以灵活地组合在一起，并且无需特别重新调整即可与其他dm进行即插即用，从而能够及时有效地适应各种场景。在生成过程中，便利运输机制动态调节每个SPM的渗透率，以响应不同的输入提示，进一步减少对其他概念的影响

实现流程

给定一个目标概念(例如，史努比)，主要目标是在保留其他代的同时，从预训练的dm中精确地删除它。

为了避免预训练模型依赖及其参数漂移，首先开发了一个1-dim适配器，称为SPM。非侵入性结构可以插入任何预训练的DM(例如SD v1.4)中，以学习对特定概念的可转移识别及其相应的擦除，同时保持原始模型完整。

提出了潜在锚定，这是一种新的SPM微调策略，可以有效地利用潜在空间中的连续概念进行精确擦除和生成保存。

一旦spm独立学习消除各种潜在风险，就可以建立一个存储库，其中任何概念组合(例如梵高+裸体)都可以定制并直接转移到其他模型(例如社区中的RealisticVision)。在推理过程中，便利传输机制在接收用户提示时控制SPM的激活和渗透率

指示显式内容的提示符将被裸体SPM删除，但不会触发梵高SPM。与此同时，毕加索的风格，没有相应的SPM安装在DM中，几乎没有变化的一代

SPM as a 1-dim Lightweight Adapter

为了将概念从预训练模型依赖中解脱出来，设计了一个适配器，作为现有技术中流行的全参数或基于规格的微调方法的轻量级但有效的替代方案。它只有一个固有维度，以最小的开销作为薄膜注入DM中，以便学习特定概念的半渗透性，以进行精确的目标擦除

对在DM中$W\in R^{m\times n}$参数化的某个模块，使用擦除信号$v_{sig}\in R^m$来抑制模型生成中不希望的内容，擦除信号的幅度由可训练调节器$v_{reg}\in R^n$控制，以确定擦除强度，原始的正向过程改为：

$x\in R^n,y\in R^m$表示中间层的输入和输出

以潜扩散模型(LDM)为例，在当前时间步长 t 和文本编码器导出的文本描述 c 的条件下，去噪过程预测了施加在可变噪声图像$x_t$ 的潜在表示上的噪声 $\hat{\epsilon }$。

在预训练参数 θ 的基础上，SPM被表述为 $M_{c_{tar}}=\{(v_{sig}^i,v_{reg}^i)|c_{tar}\}$，每一个都被插入到第 i 层，从而消除了不希望的概念。扩散过程改为

基于附加的擦除可以灵活定制多个概念，其中特定的spm可以同时放置在预训练的DM上，以满足复杂且不断变化的安全要求。此外，简单的设计允许它先验证的大多数其他dm之间轻松共享和重用，显着提高了计算和存储效率

Latent Anchoring

在构建轻量级SPM的基础上，通过微调过程获得了其专业概念的半透性，即dm上的概念构成和否定可以与对数概率上的算术运算相匹配，将其重新参数化，以对dm的噪声预测过程进行概念消除。在形式上，给定目标概念$c_{tar}$，预先定义一个相应的代理概念$c_{sur}$，从而在提示$c_{tar}$时指示擦除模型的行为，为实现 $c_{tar}\leftarrow c_{sur}\leftarrow \eta \ast (c_{tar}-c_{sur})$。SPM采用擦除损失来匹配$c_{tar}$和$c_{sur}$的概率分布

$\eta$决定了与$c_{sur}$相反的与$c_{tar}$相关的特征的擦除强度，较大的$\eta$表示擦除更彻底。

同时，从dm中删除一个概念必须防止对其他概念的灾难性遗忘。简单地抑制目标的生成会导致严重的概念侵蚀。ConAbl和SA试图采用生成-重新学习的方法来缓解这个问题，其中使用收集的文本提示合成图像，然后在微调期间重新学习这些图像-文本对。然而，这种方法有两个主要的局限性。一方面，与预训练模型获得的大型通用语义空间相比，成千上万规模的手工提示非常有限，并且可能存在偏差。因此，微调过程中像素空间的重放会导致语义空间的退化和扭曲，导致不可避免的生成改变和意想不到的概念侵蚀。另一方面，提示和图像准备需要大量的时间和计算成本。以图像生成过程为例，除去提示准备阶段，仅图像生成过程就需要SA 80多个GPU小时。

为了实现精确和高效的擦除，提出了潜在锚定来解决问题。在概念空间上，为模型在整个概念空间中的生成行为建立了明确的指导方针。虽然指示模型使目标概念与代理概念保持一致，但对于其他概念，特别是那些在语义上与目标相距遥远的概念，期望模型尽可能地保持与其原始生成的一致性。用 C 表示DM文本编码器下的概念空间，这个目标可以表征为

但由于潜在空间 C 的存在，这种形式是难以处理的，同时也部分抵制了擦除损失。因此，从 C 推导出一个抽样分布$D(\cdot |c_{tar})$，以获得一个易于处理和优化的形式。目的是使与目标语相距甚远的概念表现出一致性，而目标语的同义词则受到适当的影响。这里用余弦相似度定义距离，与CLIP相同。对于采样空间内的每个编码 c，将样本概率定义为

α是影响同义词概念行为的超参数

Facilitated Transport

一旦spm以概念特定和模型独立的方式学习，就建立了一个通用的综合擦除语料库。为了符合特定的法律法规和社会规范，可以直接从语料库中检索 k 个即插即用的潜在威胁 spm，并与任何其他 DM / W无缝覆盖，而不是每次都为专用模型重复整个擦除流程

尽管潜锚的设计是为了在微调过程中维护安全概念，但在安装多spm的具有挑战性的情况下，总代不可避免地会发生纠缠。为了进一步减少擦除缓解对其他概念的影响，在推理阶段将便利传输机制引入spm，该机制动态传输目标概念的擦除信号，同时拒绝其他概念通过

具体来说，给定文本提示p，每个SPM的信息渗透率和传输速率(表示为${\gamma }^c(p)$)取决于 p 中表示的目标概念 c 的概率。为了估计概率，首先计算CLIP文本编码空间中的余弦距离，称为 $s_f^c(p)$。然而，全局视图表示可能无法捕获概念名称与详细用户描述之间的相关性。例如，梵高与梵高风格的《the spinning night sky above the village》之间的分数为0.46，但期望相应的SPM在其最大容量下运行。为此，还引入了一个一元度量来识别令牌级别的相似性:

其中T表示文本标记器。因此，推导出概念 c 在描述中出现的概率为:

这样就可以在全球和地方层面捕捉到相关性。当用户提示在语义上刺激一个或多个spm时，它们的磁导率γ会放大，动态地发射擦除信号。相反，当相关性较低时，传输被停用，有效地减少了对安全概念的影响。

实验