在这里你将快速学习到:
- 如何有效搜集和处理高质量数据素材;
- 如何精准标注;
- 如何深入理解并优化参数;
- 如何快速评估模型;
若想省略这些,可直接在文末获取Lora模型训练手册自行查看
随着AIGC的发展,许多传统工作岗位正逐渐被AI取代。同时,AI变革也在创造前所未有的新岗位和机会!而模型训练便是通往新天地的钥匙之一。
如果你不想被时代抛弃,现在就行动起来!OneThingAI已经为LoRA小白准备好了训练教程,一起来看看吧!
素材整理
为确保训练集的质量和多样性,素材尺寸与内容丰富度十分重要。本期教程以龙珠里的角色胖布欧为例。
- 图片尺寸需要512*512(SD1.5原始训练样本尺寸)以上,契合尺寸可让训练效果更佳
- 收集各个角度,各个场景、全身、半身、细节,甚至不同画风的胖布欧素材,以确保模型的泛化能力
- 由于此次训练的概念比较简单,只需要20-30张高质量图片即可
图片处理
创建一个新文件夹以存放素材。建议使用全英文路径,并在文件夹名前加上“胖布欧”以便区分
- 尽量将图片裁剪成512x512规格。若画面构图适合,裁剪可能会导致图片不完整,也可不作修改
- 若图片有水印等干扰因素,可合理利用ps、美图等软件处理
- 将图片移入文件夹
图片打标
自LoRA训练方式问世以来,市面上已经有许多集成LoRA训练器,也就是常说的“丹炉”。如老牌的kooyass,秋叶包,青龙包等,都可用于训练。
训练一个LoRA,显卡配置至少在6G以上。如果没有好显卡,可以使用OneThingAl云算力平台,快速跑一个LoRA不到1块钱。
平台搭载了许多主流丹炉,为了方便大家上手,教程选用较为简单的秋叶丹炉作为演示。
创建应用,选择合适显卡
上传基础模型,或在模型中心选择合适的模型。本教程选择Anything4.5,可直接下载到运行的丹炉应用中
进入文件管理,把准备好的数据集上传到指定位置:/root/onethingai-tmp/train/5_Majin Buu
打开丹炉,对图片进行标注和数据清洗。
打开WD1.4标签器,输入图片所在的路径(/root/onethingai-tmp/train/5_Majin Buu),设置输出路径(/root/onethingai-tmp/train/5_Majin Buu)。
并在提示词前加上"pangbuou",将温度设置为0.35。点击启动。
可以看到我们的提示词会自动出现在文件管理的输出文件夹中。
接着回到丹炉,打开标签编辑器,对提示词进行清洗。输入数据集目录(/root/onethingai-tmp/train/5_Majin Buu),点击加载
在右侧过滤栏删除与我们训练目标相符的特征词,比如“粉色皮肤"、“胖胖"等;
保留在画面中,且与训练目标特征无关的词,如"白色背景”、“漫画风格”等。
模型训练
点击LoRA训练-新手,新手建议保持默认数值,仅调整以下参数:
(1)底模&VAE路径:输入模型文件路径:/root/onethingai-tmp/sd-models/Anything-v4.5.safetensors
(2)训练集路径:指向图片文件夹:/root/onethingai-tmp/train/5_Majin Buu
(3)LoRA名称:为训练结果命名:Majin Buu
(4)保存路径:确定模型保存位置:/root/onethingai-tmp/output
(5)epochs:设置为20左右
(6)batch_size:提高可加快速度,根据显卡性能调整,如4090可设为8左右
(7)dim:对于小概念,设为32,alpha设为其一半,即16
设置完参数后,点击开始训练即可
同时,可以在我的应用-查看日志中查看训练进度
模型测试
训练完成后,我们可以对模型进行测试,看看模型的表现是否达到预期。
将训练好的模型下载后,在应用中心新建一个SD,使用webUI里的xyz脚本,x设置为模型epoch,y设置为模型权重
设置好底模和提示词等基础参数后,就可以跑上一轮来看看哪个才是你最心仪的结果啦!保存模型即可使用
LoRA应用场景之广不必多说,如在漫画领域生成分镜,游戏领域生成原画概念稿,换装,甚至制作模型,皆尚待探索。
如果你苦于没有一份Lora模型训练学习系统完整的学习资料,这份网易的《Stable Diffusion LoRA模型训练指南》电子书,尽管拿去好了。
包知识脉络 + 诸多细节。节省大家在网上搜索资料的时间来学习,也可以分享给身边好友一起学习。
由于内容过多,下面以截图展示目录及部分内容,完整文档领取方式点击下方微信卡片,即可免费获取!
篇幅有限,这里就不一一展示了,有需要的朋友可以点击下方的二维码进行免费领取!