如何定制属于自己的stable diffusion？Dreambooth原理详解和代码实战

Diffusion Models专栏文章汇总：入门与实战

前言：今天是劳动节，先向广大劳动者们致敬！AIGC大模型(如stable diffusion models)的训练成本已经超过绝大多数人的承受范围，彻底沦为中大厂/科研大组的“御用品”，这也是大模型时代的必然趋势。如何利用已有的开源大模型，微调出属于自己的专有模型？如何定制化自己专属扩散模型？这些问题无疑让我们这些没有资源直接训练达模型的人感到兴奋！dreambooth这篇论文出现的非常早，去年就已经大火过。经过时间的沉淀，现在定制化自己的diffusion大模型基本只剩下Dreambooth、textual inversion、LORA和Hypernetworks四种方法。笔者会依次带大家一一探索这些方法，一起玩转属于自己的diffusion！

目录

贡献概述

三句话概括贡献

为什么微调扩散模型这一任务是困难的？

方法详解

文本条件扩散模型 

稀有词标记

问题一：扩散模型中的语言漂移问题

问题二：输出多样性降低

解决方案：自监督先验保留损失

代码解析

代码链接

调参技巧

源码阅读

diffusers写法借鉴 

参考

---