IP、ID一致性论文阅读

IP一致性：指的是给定输入的图像，要求保持图像中的ID不变，IP可能是Identity Property，要求能够识别出是同一个身份。

目前通过IP的一致性技术，可以用于短视频短剧上，是一个新兴的市场技术。

IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models

Paper : https://papers.cool/arxiv/2308.06721
Page : https://ip-adapter.github.io/

类似于ControlNet，想要在已经预训练的网络中增加Adapter(类似于LLM中)，从而维持IP一致性。

动机：目前如果在预训练中的网络中添加额外的信息，通常是直接和其他信息(Text)Concat在一起通过Cross-Layer，本文认为这样子会导致信息融合在一起，无法保证单一模态的信息强度，就容易导致IP变形。

通过使用两个cross-attn，将不同模态的信息分离，但是在这两个cross-attn的Q数输入是一致的。具体公式如下
$$\begin{array}{r}{\mathbf{Z}}^{new}=\mathrm{Softmax}(\frac{\mathbf{Q}{\mathbf{K}}^{\top }}{\sqrt{d}})\mathbf{V}+\mathrm{Softmax}(\frac{\mathbf{Q}({\mathbf{K}}^{\prime }{)}^{\top }}{\sqrt{d}}){\mathbf{V}}^{\prime }\\ \mathrm{where}\mathbf{Q}=\mathbf{Z}{\mathbf{W}}_q,\mathbf{K}={\mathbf{c}}_t{\mathbf{W}}_k,\mathbf{V}={\mathbf{c}}_t{\mathbf{W}}_v,{\mathbf{K}}^{\prime }={\mathbf{c}}_i{\mathbf{W}}_k^{\prime },{\mathbf{V}}^{\prime }={\mathbf{c}}_i{\mathbf{W}}_v^{\prime }\end{array}$$
需要注意的是两个Cross-áttn的Query输入是一致的，而对于文本的cross-attn是完全冻结的。

DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

Project page: https://dreambooth.github.io/

DreamBooth可以给定3～5张主体图像，微调预训练模型，生成主体类似的图像，它的核心思想通过微调模型，使得TextEncoder的某个特定token可以和模型生成的特定主体(Obeject)相联系，例如将Kitty和我家的狗联系起来，如果输入的prompt含有“Kitty”，那么模型生成的图像中，主体就是我家的狗。

Method：

1. 如何设计训练数据。文本提示采用简单的结构，通常包含一个独特标识符和主体的类别名称。例如，“A [V] dog”，其中"[V]"是独特标识符，"dog"是主体的类别名称。V实在 tokenizer寻找出现频数较少的。
2. 为了防止模型在微调过程中逐渐忘记如何生成与目标主体相同类别的其他主体（即语言漂移），作者提出了一种类别特定先验保留损失（Class-specific Prior Preservation Loss）。先在一个类别中生成几张图像，要求模型在微调的时候，对于该类别生成尽量一致的图像，只有在输入特定的token的时候，才生成特定的主体。

• 微调预训练模型：使用少量（大约3-5张）特定主体的图像对预训练的文本到图像扩散模型进行微调。这样做的目的是将特定主体的实例嵌入到模型的输出域中。

• 使用唯一标识符：为每个主体分配一个独特的标识符，并在文本提示中结合使用这个标识符和主体的类别名称（例如，“一个[V]狗”），这样可以帮助模型在保持类别先验的同时，学习将标识符与特定主体绑定。

• 设计文本提示：为了简化过程并避免编写详细的图像描述，作者选择使用简单的文本提示，如“a [V] [class]”，这有助于将模型对特定类别的先验知识与主体的独特标识符结合起来。

• 罕见标识符（Rare-token Identifiers）：为了避免模型对标识符有预先的知识，作者寻找词汇表中的罕见标记，并将其反转到文本空间，以最小化标识符具有强先验的概率。

• 类别特定先验保留损失（Class-specific Prior Preservation Loss）：为了解决语言漂移问题（即模型在微调后逐渐忘记如何生成与目标主体相同类别的其他主体），作者提出了一种新的损失函数。这种损失函数通过使用模型自身生成的样本来监督模型，以保留类别先验，并鼓励生成多样化的图像。

在Diffuser中有DreamBooth的实现，可以支持微调TextEncoder和UNet，在训练前生成class images。

InstantID : Zero-shot Identity-Preserving Generation in Seconds