sd-dreambooth vs sdxl-finetune

已于 2024-10-22 12:14:33 修改
阅读量220 收藏
点赞数
分类专栏： 深度学习机器学习 文章标签： 人工智能 深度学习 机器学习
于 2024-10-22 12:14:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/x1131230123/article/details/143148378
版权

在生成式图像模型领域，DreamBooth 和 SDXL 微调（fine-tuning）是两种常见的模型个性化方法。虽然它们都用于增强 Stable Diffusion 的生成能力，但在具体实现和应用场景上存在显著差异。本文将详细介绍这两者的区别，帮助你根据需求选择合适的方法。

1. DreamBooth：定制化的个体训练

DreamBooth 是 2022 年由 Google 研究团队引入的一种专门的微调方法。它的主要特点是通过少量的图像（通常 3-5 张），训练模型以捕捉特定主体，如某个人物、物体或场景。通过引入一个与主体相关的唯一标识符，模型可以将该主体放置在各种不同的背景中进行生成。例如，你可以通过 DreamBooth 让模型学习特定的宠物或人物形象，然后在不同场景下生成这些图像【7†source】【8†source】。

DreamBooth 的优势在于：

  • 个性化定制：通过少量数据集进行训练，能在模型中融入特定的个性化元素，如特定人物、物品等。
  • 数据需求低：通常只需 3-5 张图像即可完成训练，适合资源有限的情况。
  • 正则化数据集：DreamBooth 使用正则化数据集，防止模型在学习新主体时过度遗忘原有的能力
了解本专栏 订阅专栏 解锁全文
SDXL Fine-tuning 和 SD DreamBooth 的区别
q742971636的博客
07-01 766
训练过程通常更快，所需计算资源也较少。典型的 DreamBooth 训练脚本包括数据准备、模型训练和推理等步骤【12†source】。：在实现上，通常需要使用更高的学习率、更大的批量大小和更长的训练时间。Fine-tuning 可以在包括 UNet 和 text encoder 在内的多个模型组件上进行【11†source】【12†source】。总结来说，SDXL Fine-tuning 更适合大规模模型调整和性能提升，而 SD DreamBooth 则专注于通过少量数据进行模型个性化和定制化。
[sd_scripts]之fine_tune全量微调
liguandong
11-10 656
sd中，token最多75（77个，包括起始和结束符），将其扩展到225，clip接受的最大长度是75个token，因此在225的情况下，需要将其分成三段，调用clip，然后连接结果。在webui中是根据逗号进行分割的。clip将文本转换为特征，sd中使用clip最后一层输出，但可以更改为使用倒数第二层的输出，NovelAI称这将更准确的反应提示，在sd2.0中，默认使用倒数第二层，不要指定clip_skip。，1e-6到5e-6很常见，从llm那边的经验，可能微调包括lora等，lr还是低一些好。
DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation
qq_53826699的博客
11-12 1000
DreamBooth是一种个性化文生图模型：给定某个物体的几张图片作为输入，通过微调预训练的文生图模型（如Imagen），将一个独特的标识符和该物体进行绑定，这样就可以通过含有该标识符的prompt在不同场景下生成包含该物体的新颖图片。（1）最简单的方法就是随机选择一个已经存在的单词，通过这种方式构建特殊标记符会造成一些问题，随着训练的进行，模型会忘记这个单词的本来含义，并将输入图片中的物品的含义与该单词绑定。作者希望将输入图片中的物体与一个特殊标识符绑定在一起，即用这个特殊标记符来表示输入图片中的物体。
【文生图】Stable Diffusion XL 1.0模型Full Fine-tuning指南（U-Net全参微调）
liuz_notes的博客
11-03 6198
Stable Diffusion XL 1.0模型Full Fine-tuning（全参微调），一键生成优质海报图像的详细指南
私人定制AI绘画——快速finetune stable diffusion教程
wenqiwenqi123的博客
12-06 1万+
AI创作正在逐步超越人类。
SDXL微调5分钟入门
新缸中之脑
10-07 1490
微调（Fine Tuning）是采用预先训练的模型并使用更多数据对其进行训练以创建更适合特定任务的新模型的过程。你可以在自己的图像上微调 SDXL 等图像生成模型，以创建更适合生成特定人物、物体或风格的图像的新版本模型。对于大多数用户来说，BLIP 生成的训练标题效果很好。但是，你可以通过将 captions.csv 文件添加到为训练提供的输入图像的 zip 文件中来提供自己的标题。每个输入图像都需要有相应的标题。captionimage_fileSDXL微调简明教程 — BimAnt。
[linux-sd-webui]api之dreambooth训练
liguandong
04-29 1702
Finetune训练自己的大模型： （推荐准备3000+张图片，包含尽可能的多样性，数据决定训练出的模型质量）训练特定人、事物： （推荐准备3~5张风格统一、特定对象的图片）混合写的一套，要不就是直接使用diffusers来搞。第705/817行配置一下openai的clip权重。这个库使用的是diffusers库，现在主要就是。升级libstdc++.so.6，glic。
【StableDiffusion】SD1.4、1.5、2.0、2.1 和 SDXL0.9-1.0、SDXL turbo 等的区别
励志成为会前后端、运维、云服务、嵌入式开发、AI和自动化技术的创业小老板！
05-28 8332
1.基础sd base model家族：SD1.4、SD1.5、SD1.5-LCM、SD2.0、SD2.0-768、SD2.1、SD2.1-768、SD2.1-UNCLIP2.升级sdxl base model家族：SDXL0.9、SDXL1.0、SDXL1.0-LCM、SDXL-DISTILLED、SDXL-TURBO3.专门用于视频生成的 SVD 家族：SVD、SVD-XT4.最新科研：playground-v2、PixArt-α。
SDXL-Stable Diffusion改进版
持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术
08-07 2282
Stability AI新作，SDXL，与之前Stable Diffusion相比，生成图像质量大幅提升。
（2023，微调节，多纵横比训练，细化模型）SDXL：用于高分辨率图像合成的改进的潜在扩散模型
qq_44681809的博客
09-19 2502
本文提出一种改进的用于文本到图像合成的潜在扩散模型 SDXL。与之前的稳定扩散相比，SDXL 利用了三倍大的 UNet 主干，设计了多种新颖的调节并在多种纵横比上训练。 还引入一种提高生成保真度的细化模型。
Stable Diffusion XL之使用Stable Diffusion XL训练自己的AI绘画模型
weixin_43056275的博客
03-25 5032
其中config_file.toml文件中的配置文件包含了sdxl_arguments，model_arguments，dataset_arguments，training_arguments，logging_arguments，sample_prompt_arguments，saving_arguments，optimizer_arguments以及additional_network_arguments九个个维度的参数信息。但是切记不能在多尺度增强的时候将图片的主体特征裁剪掉（比如人脸，建筑等）。
[AIGC] 如何使用 Dreambooth 将任何东西放入Stable Diffusion（Colab notebook）
unity尧明的博客
01-03 875
Dreambooth由 Google 研究团队于 2022 年发布，是一种通过将自定义主题注入模型来微调扩散模型（如稳定扩散）的技术。为什么叫Dreambooth？据谷歌研究团队称，它就像一个照相亭，但一旦拍摄到主题，它就可以合成到你的梦想带你去的任何地方。听起来很棒！但它的效果如何？以下是研究文章中的一个示例。仅使用特定狗（我们称她为 Devora）的 3 张图像作为输入，dreamboothed 模型就可以在不同的环境中生成 Devora 的图像。
SD-Trainer安装及使用-Dreambooth
duhaining1976的博客
06-04 2348
AIGC研究及应用系列
SDXL和SD的10大区别！你知道几个？
libaiup的博客
01-04 1505
SDXL全称 stable diffusion XL，而 SD 全称为 stable diffuson。现在一般将 SD 和 SD 1.5 等同，并将基于 stable diffusion 模型进行微调的模型也称为SD模型。因此需要指明的是，在这篇文章中，SDXL 指的是 stable diffusion XL 1.0，而 SD 则指的是 SD1.5 及基于 SD1.5 微调的模型。SDXL 和 SD 的区别主要体现在以下10个方面（看不懂下面的图可以略过…，只是为了严谨）。1、。
SDXL1.0大模型的发布能给Stable Diffusion带来全新的使用体验吗？
python03012的博客
05-14 1314
（全套教程文末领取哈）
【深度学习】onnx、onnx-runtime、CUDA版本 对应关系
热门推荐
q742971636的博客
09-22 2万+
这个网址有ＣＵＤＡ对应关系：
【深度学习】xformers与pytorch的版本对应关系
q742971636的博客
05-27 1万+
【代码】【深度学习】xformers与pytorch的版本对应关系。
【深度学习】目标检测的性能评价指标，mAP_0.5，mAP_0.5,0.95,0.05
q742971636的博客
11-07 1万+
计算mAP之前先考虑我们有的数值：图片原label的bbox、模型预测的bbox、模型预测的bbox的置信度、模型预测的bbox中目标类别的分类置信度。此外，我们还需要确定“IoU数值阈值”和“置信度阈值”，模型的预测能满足“IoU数值阈值”与“置信度阈值”（NMS算法）的结果参与最终混淆矩阵计算。精确率和召回率是由混淆矩阵中的数值得到，其中的TP、FP、TN、FN都是会“IoU数值阈值”和“置信度阈值”影响的。目标检测有多个类别，一个类别计算出的AP数值，所有类别平均AP数值称为mAP（
【深度学习】YOLOv5 中使用的 CSPNet 是怎么回事
q742971636的博客
03-25 1万+
论文：https://arxiv.org/pdf/1911.11929.pdf CSPNet全称是Cross Stage Partial Network，主要从一个比较特殊的角度切入，能够在降低20%计算量的情况下保持甚至提高CNN的能力。 import torch import torch.nn as nn def autopad(k, p=None): # kernel, padding # Pad to 'same' if p is None: p = k //
利用sd-turbor
最新发布
03-18
### 使用 SD-Turbo 技术的相关方法 SD-Turbo 是一种基于 Stable Diffusion 的优化版本，旨在通过调整参数和算法改进生成图像的质量与速度。其核心在于对扩散过程中的超参数进行精细控制以及利用更高效的推理框架[^1]。 #### 安装依赖项 要使用 SD-Turbo，需先安装必要的 Python 库并克隆项目仓库。以下是基本环境搭建步骤： ```bash pip install torch torchvision torchaudio diffusers transformers accelerate safetensors bitsandbytes xformers ``` 接着可以从官方镜像获取源码： ```bash git clone https://gitcode.com/mirrors/stabilityai/sd-turbo cd sd-turbo ``` #### 参数配置与调优 SD-Turbo 提供了一系列可调节的参数用于提升性能或定制化需求。这些参数包括但不限于采样步数 (`num_inference_steps`)、引导比例 (`guidance_scale`) 和种子值 (`seed`)。例如，在脚本中可以这样定义基础设置： ```python from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler model_id = "stabilityai/sd-turbo" scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler") pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler) prompt = "A beautiful landscape with mountains and a lake under the sunset." image = pipe(prompt, num_inference_steps=25, guidance_scale=7.5).images[0] image.save("output_image.png") ``` 上述代码展示了如何加载预训练权重并通过指定提示词生成图片。 #### 性能对比与其他工具链集成 尽管 SD-Turbo 在某些场景下表现出色，但在复杂细节处理方面可能不如其他高级变体如 PixArt 或者 SDXL Turbo[^2]。因此实际部署时应考虑目标应用场景的具体要求。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值