- 构建去混淆数据集很重要
- 除了文本编码和UNet,还需要微调CLIP的文本编码器
- 文本引导的扩散模型中存在概念视觉混淆(inter-concept visual confusion)问题。
- 由于缺乏用户提供的样本,该问题在定制化内容生成中更加严重。
- 现有文本引导扩散模型(text-guided diffusion models, TGDMs)通常包括:1)CLIP:对齐文本编码和视觉编码;2)扩散模型:将文本编码解码为像素。但是现有方法定制化方法通常仅fine-tuning第二部分,而忽略了第一部分。
- 本文提出了CLIF(contrastive image-language fine-tuning),使用去混淆的增强数据集微调CLIP文本编码器。
- 实验证明CLIF可以有效阻止多订制化内容生成中的混淆问题。
引言
现有的定制化生成方法,通常是微调TGDM,微调内容包括:1)定制化名称(例如:唐僧)的文本编码;2)生成主干LoRA。然而,这其中存在一个挑战:inter-concept confusion。
研究发现文本编码(V-values)控制画什么,交叉注意力图(Q-K softmax)控制在哪里画。受此启发,本文认为混淆是由于内容文本编码的混淆导致的。
本文首先计算了混淆分数(生成4张图片,用通用目标检测器处理生成图片,根据可信度分数计算混淆分数:,其中
表示检测为猫,但是Tok的置信度,如果为0则表示完全解耦,如果为1则表示完全没解耦)。发现混淆程度和文本编码的欧式距离相关。当两个概念标记嵌入很远时(例如,“章鱼”和“猫”),组合很少混淆; 当它们靠近时,混淆是常见的:
本文提出CLIF(Contrastive Language-Image Fine-tuning)缓解混淆问题:1)分割好的定制化内容数据集,将客制化内容与其他内容拼在一张图中;2)基于该数据集微调CLIP;3)微调text embeddings和UNet。
方法
Training Data Curation
由上图,本文发现现有方法存在三个问题:1)ID丢失(红框);2)属性错误(蓝框);3)内容丢失(绿框)。针对上述三个问题,本文针对性的构建了三种数据集:
具体来说,在G-Aug中:1)用SAM分割角色图像;2)用GPT-4生成100常见内容,包括角色、动物、物体等,每个内容生成20张图片;3)随机合并多个定制化内容。
CLIF for Text Encoder
微调过程与CLIP训练过程相似,以1e-4的学习率训练。
Fine-tuning for Text-to-Image Decoder
冻结文本编码器,使用共享LoRA训练text embedding,同时训练多个内容。
实验
- Datasets:18个代表性角色,包含9个真实人物,4个3D动画角色,5个2D动画角色。
- Baselines:Text-Inversion、Custom Diffusion、DreamBooth、Mix-of-Show
- Evaluation:可视化、量化(CLIP文本/图片相似性分数)