Stable Diffusion教程|练丹师是如何炼丹的Lora模型训练

还记得我们之前就讲过学习SD成为炼丹师不?那么今天就来手把手教大家炼丹,看看同一个角色或某种风格的小模型是如何制作出来的。

目录

1 炼丹介绍

2 环境准备

3 Lora模型训练

**一、**炼丹介绍

什么是炼丹?

早在学习SD地第一篇就普及过炼丹师的概念,炼丹师就是指那些专门研究、开发与应用Stable Diffusion模型的专业人士或爱好者,他们在实践中不断优化模型,使其产生更高质量、更具创意的图像。

炼丹种类

在用SD进行AI绘画时,常用的模型我们都可以自行训练:

1大模型,也就是底模和主模型,文件后缀.safetensors ,文件大小2G~7G左右,耗费时间最长,图片最多,算力最多,也是最有效的一种,没有底模根本无法生成图片。

2 embedding模型,文件后缀.pt或.safetensors, 文件大小20KB~300KB,训练简单效果一般,通常用于负面提示词应用,一个embedding相当你输入了一类负面的prompt提示词。

3 Lora模型,就是我们今天要学习的,文件后缀一般是.safetensors,(格式可以互转) 文件大小比embedding大比大模型小,几十MB~几百MB,训练相对容易,现在有了集成安装包就更简单了,硬件要求8G显存以上的卡就可以满足了。

二、环境准备

下载丹炉

目前最简单傻瓜式的就是下载国内B站@秋葉aaaki提供的集成安装包,下载即可用。

安装环境

1 一键更新

2 安装python

检测win电脑里面的python版本在3.10以上就不用重复安装。

setp1 搜索cmd,打开命令窗口

setp2 输入python 查看版本(需要确定你的python环境变量正确配置,才能用)

没有安装python的或者版本升级的如下:

下载python:

地址:https://www.python.org/downloads/

安装python:

记得勾选:add python.exe to PATH 。自动配置环境变量。

一路下一步傻瓜安装完成即可。

手动配置环境变量:

右键“此电脑”,点击属性,进入设置界面:

三、Lora模型训练

准备图片素材

要求:8G左右的显卡同学,准备512*512的图片素材即可,更牛显卡的不建议超过1024*1024,找同一类风格图片或者同一个人物的不同角度不同姿态的图片。

批量裁剪:如果你从网上找图片,尺寸不一样,可以通过SD WEB UI批量裁剪(当然其他图片处理软件批处理也可以做到,比如PS-动作功能、美图秀秀批处理功能等)

setp1 打开SD WEB UI,附件功能-从目录进行批量处理

setp2 输入图片目录 和 输出目录,路径不要有中文字符。

setp3 图像放大,指定分辨率512*512

setp4 创建镜像,横向or纵向,这样可以多出来一倍的训练图片。

setp5 自动焦点剪切,识别主题的位置剪切。

手动剪裁:素材是最关键的环节,如果你对批量剪裁不满意,可以手动为每张图片剪裁。

图片打标

图片剪裁完成后,需要对每个图片进行打标,告诉计算机你这图里都有什么元素。

自动打标:

启动丹炉,双击“A启动脚本.bat”。

输入图片地址,启动即可。

打完后,看看图片文件夹,每个图片都多了一个txt文件:

手动修改tag:

最好自己检查下每个txt文件,里面的标签是否准确,对不满意的prompt,自行手动修改即可。

注意:不能有空的txt文件,按文件大小倒序找到这些文件,手动填写prompt即可。

丹炉配置

1、启动丹炉,双击“A启动脚本.bat”

2、选择你的底模,可以从你之前SD web UI里面去找,这里网上很多,不同底模适合不同类型的模型训练。我这里要训练纸片人风格的,用了“AnythingXL_v50.safetensors ”,注意不要有中文路径。然后设置分辨率和丹的名称。

3、选择刚才准备的图片素材,路径需要设置下,放在这个目录里:

…/train/XXX/8_XXX

XXX- 本次训练的项目名称自取英文即可,文件结构按这个来就行。

4、一切准备就绪,启动训练,交给时间吧@-@等着炼丹训练完成。祝你好运!

模型测试

把练好的模型,放在SD WEB UI测试你的模型吧!!

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除
  • 26
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Stable Diffusion是一个开源的大规模语言模型,其训练过程通常涉及到深度学习中的大规模预训练技术。这类模型训练主要包括以下几个步骤: 1. **数据收集**:首先,需要大量的文本数据作为训练材料,这些数据可能来自互联网、书籍、论文等各种来源。 2. **预处理**:对收集到的数据进行清洗和标准化处理,例如去除噪声、分词、编码成模型可接受的格式等。 3. **模型架构**:使用Transformer架构,比如像Diffusion Probabilistic Model(扩散概率模型)这样的设计,该模型结构有助于捕捉文本序列之间的依赖关系。 4. **初始化权重**:随机或基于现有小规模模型的微调来初始化模型参数。 5. **梯度下降优化**:通过反向传播算法计算损失,并使用如Adam、Lamb或其他优化器调整参数,目标是最小化预测与真实标签之间的差异。 6. **迭代训练**:在一个长时期的训练过程中,不断喂入数据、前向传播、计算误差、后向传播和更新权重,这个过程可能要经历数百万到数十亿次迭代。 7. **温控退火**:在训练中可能会用到逐层减小学习率的策略,类似“温控退火”,这样可以帮助模型更好地学习长期依赖。 8. **评估和监控**:定期评估模型性能,如 perplexity 或 F1 分数等指标,以便调整超参数或进行早停策略。 9. **硬件支持**:大型模型训练通常需要高性能GPU集群,以加快计算速度。 10. **版权法律**:由于Stable Diffusion使用的是公开可用的数据,但在实际应用中要确保遵守相关的版权和法律法规。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值