StableDiffusion-04 (炼丹篇) 15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我！

最新推荐文章于 2024-04-30 20:03:43 发布
最新推荐文章于 2024-04-30 20:03:43 发布
阅读量1.2k 收藏 9
点赞数 36
分类专栏： StableDiffusion 文章标签： stable diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w776341482/article/details/137854684
版权

背景描述

接上一节的内容：
StableDiffusion-04 炼丹篇

请你确保：

  • 已按照前几节完成了配置
  • 已按照前几节正常运行
  • 已按照前几节正常出图
  • 上一节结尾：已经完成了对图片的打标签操作，接下来我们就要进行炼丹了！

上节说到：
从小就非常喜欢小樱！从小樱的动画到动漫书我都看了个遍，包括C妈几年前更新了（哇这么久了都）Clear Card。
直到最近C妈终于更新完了 Clear Card 的漫画，听说好像新的视频在筹备了，我好期待！！！

在这里插入图片描述

在这里插入图片描述

炼丹配置

按照我们上节的情况，我们打开：http://server:6006页面，请图文对比着一起配置。
由于我们是学习，所以按照图中可以跑起来是第一要义，不用调整太多了。

选择如下标签并配置
● Model-Pretrained model name or path: 基础模型的位置，如果没有将下载
● Model-Trained Model output name: 输出的模型名称
● Model-Image folder: 图片的上一级目录，（不要写到30_sakura这一级）
● Folders-Output directory for trained model: 训练完保存的目录
● Folders-Logging directory：日志的文件夹

详情如下图：
在这里插入图片描述

  • Paramters-基本配置默认即可（暂时先跑通）
    在这里插入图片描述
    ● Paramters-Text Encoder learning rate: 网上推荐 5e-5
    ● Paramters-No half VAE
    ● Paramters-Network Rank: 64
    ● Paramters-Network Alpha: 64
    在这里插入图片描述

开始训练

完成上述的配置之后，我们点击按钮开始训练
在这里插入图片描述

页面上是不会有什么变化的，我们可以看后台的日志。过程中如果你是第一次运行，那你需要下载一部分模型。
可以看到下图，正在进行一些别的模型下载。
在这里插入图片描述
如果你加载模型顺利的话，你会看到如下的训练过程：
模型已经正常加载，一共19张图片 ，epoch=1(默认配置的)，一共570步训练，会显示着实时进度和预估完成的时间。
在这里插入图片描述

此时我们可以观察显卡的状态如下：
大约 13GB 的显存占用，所以底显卡跑的话，可能会遇到 OOM 的问题。
在这里插入图片描述

训练完毕

在经过漫长的等待之后··· 如果出现了如下图片的内容，那么恭喜你！已经成功练出了自己的第一炉丹！
在这里插入图片描述
上一节我们配置的保存目录是：

/root/autodl-tmp/kohya_ss/wzk_test

我的目录如下，你可以参考：
在这里插入图片描述
这个叫: wzk_lora_model.safetensors 便是我们的LoRA了，名字取决于你在配置中的名称。只要是.safetensors结尾即可。

测试效果

（这里随便选了一个基础模型）

无LoRA

其他图我就不放了
在这里插入图片描述

使用LoRA

为了更好更多的展示，这里直接把COUNT调到4，直接给大家展示4个一张的
提示词我也不放了！大家按照自己的喜欢使用即可！
多个LoRA搭配使用一下效果更佳！可以看这节内容，里边有详细的使用流程
StableDiffusion-02 LoRA上手使用实测
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

武子康
关注
  • 36
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ChatGLM LoRA微调实战方案
herosunly的博客
04-28 16万+
本文主要介绍了ChatGLM LoRA微调实战方案，希望对学习大语言模型的同学们有所帮助。微调后的推理截图如下所示。 文章目录 0. 简介 1. 安装虚拟环境 2. 下载文件 2.1 下载源代码 2.2 下载模型依赖文件 2.3 下载模型文件 3. 安装依赖库 4. LoRA微调 4.1 下载源代码 4.2 数据格式转换 4.3 tokenize 4.4 微调 5. 推理
chatglm使用lora进行模型微调训练
06-24
chatglm使用lora进行模型微调训练，没有采用官方的方案，使用了另一种效果好的方案，对于显存特别友好，24g显存就能训练自己的垂直领域大模型训练了，效果还是非常的好的，适合自己机器不是很多的需要做实验的同学
StableDiffusion-03 (准备篇)15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我！
武子康
04-16 1040
本篇是环境的安装（Python、CUDA、GIT、安装依赖、项目启动）、图片的准备（下载、裁切、打标签）、(准备篇)15分钟 部署服务并进行LoRA微调全过程详细记录 不到20张百变小樱Sakura微调 3090(24GB) 学不会你打我！ 从小就非常喜欢小樱！从小樱的动画到动漫书我都看了个遍，包括C妈几年前更新了（哇这么久了都）Clear Card。直到最近C妈终于更新完了Clear Card的漫画，听说好像新的视频在筹备了，我好期待！！！
ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
热门推荐
结构之法 算法之道
03-31 5万+
随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《
LLM-04 大模型 15分钟 FineTuning 微调 ChatGLM3-6B（准备环境） 3090 24GB实战 需22GB显存 LoRA微调 P-TuningV2微调
武子康
04-19 1129
- SFT 全量微调: 4张显卡平均分配，每张显卡占用 48346MiB 显存。 - P-TuningV2 微调: 1张显卡，占用 18426MiB 显存。 - LORA 微调: 1张显卡，占用 14082MiB 显存。 ChatGLM3是由智谱AI和清华大学KEG实验室联合开发的一款新一代对话预训练模型。这个模型是ChatGLM系列的最新版本，旨在提供更流畅的对话体验和较低的部署门槛。ChatGLM3-6B是该系列中的一个开源模型，它继承了前两代模型的优秀特性，并引入了一些新的功能和改进。
基于ChatGLM-6B、ChatGLM2模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等
08-21
基于ChatGLM-6B、ChatGLM2-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等.zip 本资源中的源码都是经过本地编译过可运行的，下载后按照文档配置好环境就可以运行。资源项目源码系统完整，...
本地部署离线通义千问-1-8B-Chat与通义千问-14B-Chat模型及使用Lora方法对它们进行微调与验证
04-08
本地部署离线通义千问-1-8B-Chat与通义千问-14B-Chat模型及使用Lora方法对它们进行微调与验证
chatglm使用lora进行模型微调训练.zip
08-29
chatglm使用lora进行模型微调训练.zip
基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、
02-06
基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等
stable diffusion controlnet前处理中的图像resize
ltshan139的专栏
04-30 214
所以即使原始control image的尺寸是一些比较随意的值，但是经过前处理后的size都会被整归成能被64整除的值。在对control image进行前处理（比如找边缘，人体特征点）之前，往往会图像进行resize，这个resize函数定义在controlnet_autx中util.py中，无论是scribble，还是openpse或其它功能，都会调用这段resize代码。同时如果调用pipe接口时没有显示指定图像生成的宽和高，那么生成的图像size将会基于control image前处理后的宽高值。
Stable Diffusion 模型分享：Inkpunk Diffusion（动漫、墨水朋克）
水滴的博客
04-28 1273
在 Dreambooth 上训练的微调稳定扩散模型。隐约受到 Gorillaz、FLCL 和 Yoji Shinkawa 的启发。nvinkpunk。条目内容类型大模型基础模型SD 1.5来源CIVITAI作者Envvi文件名称文件大小1.99GB。
Stable Diffusion WebUI 使用 VAE 增加滤镜效果
水滴的博客
04-25 2341
VAE（variational autoencoder）表示变分自动编码器，它是神经网络模型的一部分，可在较小的潜在空间之间对图像进行编码和解码，从而使计算速度更快。通俗点说，可以把 VAE 理解为一种滤镜，它能让图片的色彩更加饱满，告别灰蒙蒙的感觉；同时，它还能对图片的细节进行微调，改善面部和眼部，让整体效果更加出色。在 Stable Diffusion 中，绝大部分大模型已经内置了默认的 VAE，无需再外挂 VAE 了。
搭建和配置Stable Diffusion环境，超详细的本地部署教程
最新发布
南七小僧的学海无涯
04-30 699
跃然纸上的创意、瞬息万变的想象，Stable Diffusion以AI的力量赋予您无限创作可能。在这篇详尽的本地部署教程中，我们将携手走进Stable Diffusion的世界，从零开始，一步步搭建和配置这个强大的深度学习环境。无论您是热衷于探索AI艺术的新手，还是追求技术创新的专业人士，本教程都将助您轻松掌握如何在个人电脑上实现Stable Diffusion模型的本地化运行。
Stable Diffusion 本地部署教程
weixin_42321517的博客
04-27 351
Stable Diffusion 本地部署教程
【Stable Diffusion本地部署简易教程】从入门到实践
✈
04-30 810
Stable Diffusion是一款强大的AI图像生成工具，它允许用户在自己的计算机上生成精美的图像。本教程为初学者提供了一个简单易懂的Stable Diffusion本地部署指南。从硬件和软件的准备，到Python环境的搭建，再到模型的下载与运行，每一步都配有清晰的说明，确保用户能够顺利部署并开始使用Stable Diffusion。此外，文中还提供了解决常见问题的方案，如内存不足或生成速度慢等，帮助用户避免在部署过程中可能遇到的难题。通过本教程，用户不仅能够了解Stable Diffusion的工作原
释放Stable Diffusion 无限可能
亚马逊云科技专栏
04-26 764
最近在整理大语言模型的系列内容，Stable Diffusion 是我下一篇博客的主题。关注 Stable Diffusion，是因为它是目前最受欢迎和影响力最大的多模态生成模型之一。Stable Diffusion 于 2022 年 8 月发布，主要用于根据文本的描述产生详细图像，当然它也可以应用于其他任务，比如内补绘制、外补绘制，以及在提示词指导下，对现有图形进行风格化或转变。Stable Diffusion 模型版本正在快速迭代，开源生态也在逐步扩展，对行业生产力带来了巨大的变革。
Stable Diffusion教程：额外功能/后期处理/高清化
程序员小麦的博客
04-28 714
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。​AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
Stable Diffusion学习线路，提示词及资源分享
傻傻的心动的博客
04-27 893
Stable Diffusion学习线路，提示词及资源分享
chatglm2-6b lora微调
09-06
您好！对于ChatGPT-LM模型的微调，我可以为您提供一些基本的指导。以下是一个示例代码，用于微调ChatGPT-LM模型（如chatglm2-6b）来执行Lora任务： ```python import torch from transformers import GPT2LMHeadModel, GPT2Tokenizer, GPT2Config, Trainer, TrainingArguments from torch.utils.data import Dataset, DataLoader # 加载预训练的模型和tokenizer model_name = "microsoft/DialoGPT-large" model = GPT2LMHeadModel.from_pretrained(model_name) tokenizer = GPT2Tokenizer.from_pretrained(model_name) # 构建自定义的Lora数据集 class LoraDataset(Dataset): def __init__(self, conversations): self.conversations = conversations def __len__(self): return len(self.conversations) def __getitem__(self, idx): return self.conversations[idx] # 定义微调所需的函数 def prepare_inputs(examples): # 利用tokenizer对输入进行编码 inputs = tokenizer(examples["input_text"], padding="max_length", truncation=True, max_length=512) inputs["labels"] = inputs.input_ids.clone() return inputs def compute_metrics(pred): # 计算模型在验证集上的指标，这里示例中仅计算损失（负对数似然） loss = pred.loss metrics = {"loss": loss} return metrics # 加载并处理Lora数据集 conversations = [...] # 您的Lora数据集，每个对话是一个字符串列表 dataset = LoraDataset(conversations) train_dataset = dataset[:int(0.9 * len(dataset))] val_dataset = dataset[int(0.9 * len(dataset)):] # 定义微调参数 training_args = TrainingArguments( output_dir="./lora_model", num_train_epochs=3, per_device_train_batch_size=2, per_device_eval_batch_size=2, logging_steps=1000, save_steps=5000, evaluation_strategy="steps", eval_steps=2000, save_total_limit=1, ) # 创建Trainer并进行微调 trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=val_dataset, data_collator=prepare_inputs, compute_metrics=compute_metrics, ) trainer.train() ``` 请注意，上述代码仅提供了一个简单的示例。在微调ChatGPT-LM模型时，您需要根据您的数据集和任务对代码进行适当的调整。还可以根据需要调整微调参数。 希望这可以帮到您！如果您有任何其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值