【深度学习】【custom-diffusion】Multi-Concept Customization of Text-to-Image Diffusion，论文，实战

论文：https://arxiv.org/abs/2212.04488
代码：https://github.com/adobe-research/custom-diffusion

1 Abstract

虽然生成模型可以从大规模数据库中学到高质量的概念图像，但用户通常希望能够合成他们自己概念的实例（例如家人、宠物或物品）。在给定少量示例的情况下，我们能否教会模型快速学习新的概念？此外，我们能否将多个新概念组合在一起？我们提出了一种名为Custom Diffusion的有效方法，用于增强现有的文本到图像模型。我们发现，仅通过优化文本到图像条件机制中的少量参数就足以表示新概念，同时实现快速调整（约6分钟）。此外，我们可以通过闭式约束优化来联合训练多个概念或将多个经过微调的模型合并为一个模型。我们的经过微调的模型能够在新颖的环境中生成多个新概念的变体，并将它们与现有概念无缝地组合在一起。我们的方法在定性和定量评估中优于或与几个基线方法和其他同时进行的研究相媲美，同时具有内存和计算效率。

<