前言
Dreambooth设计了一个loss function, 让我们可以用少量自己的图像对Stable Diffusion大模型进行微调(finetune), 来得到个性化的图片;
DreamBooth 的工作方式如下:
收集大约 10-20 张特定主体(例如您的狗)的输入图像,并定义一个唯一标识符 [V],它代指的即是您输入的主体。该标识符通常是一些像 flffydog 这样的虚构词,在推理时它会被植入不同的文本提示中来将主体置于不同的上下文中。
通过提供图像和文本提示来微调扩散模型,例如给定文本提示 “A photo of a [V] dog”,其中需包含唯一标识符 [V] 和类名(本例中为 “dog”)
镜像链接:
https://www.codewithgpu.com/i/eziohzy/diffusion-models-class/DreamBooth_Hackathon_moka_travel_around_the_world
输入狗子图片:
效果图: