超简单详细的SD3.5炼丹教程(非常详细),SD3.5炼丹看这一篇就够了

SD3.5发布也有快一周了,作为一个基础模型,我们势必要发挥他的可塑性

今天我们就给大家介绍一下SD3.5训练lora的教程,很简单,小白也能上手

先介绍一下平台有哪几个丹炉

这几个丹炉都可以

地址:chenyu.cn

  1. 先准备数据集

如果自己不想打标签,可以利用另外一个镜像

进入这个FLUX-ai-toolkit镜像的晨羽云端os

选择这个图片数据

右键上传你所需要打标的图片

然后选择这个图像打标

打完标后,返回图片数据,将打标好的文件打包下载

然后你就会在本地收获打标后的数据集

2.将数据集上传到指定文件

先进入jupter,

将所有的文件和数据集上传到**/root/T2ITrainer/ImageSet/**

在终端分别输入(记住每输入一段,需要回车后再输入下一段)

cd /root/T2ITrainer+回车

python ui_sd35.py+回车

最后会出现以下内容

然后回到刚才的界面,选择SD3.5炼丹

进入这个界面,新手直接换个名字,就开炼,其他参数不用多调整,我这边收集了(20多张图片训练的)

拉到最底下的run直接开跑

切回到jupter可以查看进度

然后把训练的好的丹,从root/T2ITrainer/out中训练好的模型

复制到userdata/lora

然后就会看到平台上所有的镜像,都会加载这个lora,记住safetensors才是lora

当然你也可以在训练的界面将输出的模型直接放在这个userdata/lora目录中,这样就不用复制了。

记得在提示词里面输入你的lora名字,

最后给我生成了一个这样的图,因为只做展示,没有刻意去调整参数

Lora训练如何学习?

对于很多刚学习AI绘画的小伙伴而言,想要提升、学习新技能,往往是自己摸索成长,不成体系的学习效果低效漫长且无助。

如果你苦于没有一份Lora模型训练学习系统完整的学习资料,这份网易的《Stable Diffusion LoRA模型训练指南》电子书以及专业Lora模型训练器,尽管拿去好了。

包知识脉络 + 诸多细节。节省大家在网上搜索资料的时间来学习,也可以分享给身边好友一起学习。

由于内容过多,下面以截图展示目录及部分内容,完整文档领取方式点击文末卡片,即可免费获取!

img

img

img

LoRA训练对显卡有一定要求,同时需要安装一些方便训练的软件。

首先,对电脑配置的要求主要来自显卡,需要显卡有足够的显存,其他配置不太差就可以。显卡的选择中显存是第一要素,SD1.5版本的底模6G显存勉强可用,8G显存就可以比较流畅的生成图片和炼制LoRA,12G可以流畅的使用Dreambooth微调大模型。

我的Mac本直接Pass,Win的配置也不是特别高,所以炼丹速度比较慢,但是勉强可以用。

然后,就是分享下载几个后续方便训练的软件,帮助新手小白降低训练难度,提升炼丹效率。

在这里插入图片描述

在这里插入图片描述

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名Lora模型训练大师的正确特征了。

这份完整版的Lora训练学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

<think>嗯,用户问的是关于“SD模型炼丹”,也就是Stable Diffusion模型训练和微调。首先,我需要确认用户对SD模型的基础了解程度。可能用户已经知道Stable Diffusion是什么,但想进一步学习如何训练自己的模型。 接下来,我应该解释清楚什么是“炼丹”,也就是模型训练的过程。需要分步骤说明,从准备数据到训练技巧,再到应用场景。用户可能对技术细节感兴趣,但作为副业,他们可能更关注实际应用和变现方式。 要考虑到用户可能的背景,或许他们有一定的技术基础,但需要指导如何入门。需要推荐一些工具和平台,比如Hugging Face、Colab,还有常用的库如Diffusers。同时,要提醒注意事项,比如版权问题,硬件需求,避免常见错误。 用户可能想知道如何将训练好的模型变现,所以要列出几个可行的途径,比如模型售卖、定制服务、内容创作等。这部分需要具体案例,比如在Civitai上出售模型,或者接企业定制项目。 还要注意回答的结构,按照之前的格式,分点说明,保持清晰。同时,确保使用正确的中文术语,避免翻译错误。比如“微调”而不是“fine-tuning”的直译。 另外,用户可能在寻找副业方向,所以需要强调低成本和可操作性,比如使用现有平台和开源工具,减少初期投入。提醒他们时间和资源管理的重要性,比如数据标注的耗时和硬件要求。 最后,检查是否有遗漏的关键点,比如训练技巧中的学习率调整、数据增强,或者应用场景中的具体例子。确保回答全面且实用,帮助用户真正开始他们的SD模型训练副业。</think>以下是关于**Stable DiffusionSD模型训练与微调(俗称“炼丹”)**的详细介绍,涵盖技术原理、操作流程和变现方向: --- ### 一、SD模型基础概念 #### 1. **什么是“炼丹”** - **定义**:通过调整模型参数或输入数据,让SD模型生成特定风格的图像(如动漫风、写实摄影、品牌视觉等)。 - **常见类型**: - **Checkpoint模型**:完整训练模型(需高算力) - **LoRA模型**:轻量微调(适合个人开发者) - **Textual Inversion**:通过关键词触发特定风格 #### 2. **技术原理** - **核心机制**:通过反向扩散过程(Diffusion)逐步去除噪声生成图像 - **训练关键**: - **数据集**:图像+标签(需规范标注) - **Loss函数**:计算生成图与目标图的差异 - **学习率**:控制参数更新速度(过高会失真,过低效率低) --- ### 二、炼丹全流程指南(以LoRA为例) #### 1. **准备阶段** - **硬件需求**: - 最低配置:RTX 3060(12GB显存) - 推荐配置:RTX 4090/A100(可租赁Google Colab或AutoDL) - **软件工具**: - WebUI:AUTOMATIC1111/Kohya_SS - 库:Diffusers、Hugging Face Transformers #### 2. **数据准备** - **数据集要求**: - 风格统一:建议20-50张同类型图片 - 分辨率:512×512或768×768(需统一) - 标注格式:`.txt`文件描述每张图(可用WD14标签器自动生成) - **预处理工具**: - 去重:`ImageDedup` - 增强:`Albumentations`(旋转/裁剪/调色) #### 3. **训练参数设置** ```python # 典型LoRA配置(kohya_ss GUI) { "learning_rate": 1e-4, "batch_size": 4, "max_train_steps": 1000, "network_dim": 128, "optimizer": "AdamW8bit", "mixed_precision": "fp16" } ``` #### 4. **训练技巧 - **防止过拟合**: - 正则化:Dropout率设为0.1-0.3 - 早停法(Early Stopping) - **提升效果**: - 渐进式学习率(Cosine衰减) - 分层训练(先练整体结构,再调细节) --- ### 三、变现方向 #### 1. **模型售卖** - **平台**: - Civitai(国际社区,高流量) - 吐司(国内平台,支持RMB结算) - **定价策略**: - 通用模型:$5-15/次下载 - 定制模型:$200+/项目 #### 2. **企业服务** - **案例**: - 电商:生成产品宣传图(需配合ControlNet控制姿势) - 游戏:快速产出角色/场景概念图 - 广告:批量生成A/B测试素材 #### 3. **内容创作** - **NFT生成**:用SD制作系列化数字藏品 - **自媒体素材**:生成配图+AI配音(如抖音科普视频) --- ### 四、常见问题与避坑指南 1. **显存不足报错**: - 解决方案:启用`--medvram`参数,或减小`batch_size` 2. **人物脸部崩坏**: - 修复方法:训练时添加`<lora:detail_face:0.8>`触发词 3. **版权风险**: - 合规建议:使用CC0协议图片训练,或购买Shutterstock数据集 --- ### 五、学习资源推荐 1. **入门教程**: - Hugging Face官方文档《Fine-tuning Stable Diffusion》 - B站:秋葉aaaki的《SD-WebUI保姆级教程》 2. **进阶工具**: - 参优化:Weights & Biases(可视化训练过程) - 模型融合:Merge Block Weight脚本 --- **启动建议**: 可从微调现成模型(如`Counterfeit-V3`)开始,尝试输出小红书风格插画(需关键词`pastel color, flat illustration`),测试市场需求后再投入深度开发。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值