lora人物训练

文章讲述了如何根据显卡显存调整训练图片的尺寸,建议至少15张多角度、多表情的高分辨率人像照片进行训练。图片需经过裁剪、解析词处理,并使用特定工具进行训练,如kohay_ssGUI。训练完成后,将生成的LORA模型应用于stablediffusion的模型目录下,通过加载插件进行使用。
摘要由CSDN通过智能技术生成

准备好训练的图片,尺寸根据你显卡显存的大小,默认的图片尺寸大小为512×512,显卡显存小于8G的,建议使默认尺寸,如果你的显卡显存可以满足12g或12g以上,推荐使用768×768的图片来训练我们的模型,用大尺寸训练后的模型可以适当减少生成宽图出现的肢体叠加等效果,下面开始准备我们的图片吧。

一.图片要求

  1. 至少15张图片,每张图片的训练步数不少于100
  2. 照片人像要求多角度,特别是脸部特写(尽量高分辨率),多角度,多表情,不同灯光效果,不同姿势等
  3. 图片构图尽量简单,避免复杂的其他因素干扰
  4. 可以单张脸部特写+单张服装按比例组成的一组照片(这里比例是3:1)
  5. 减少重复或高度相似的图片,避免造成过拟合

二.图片处理

  1. 裁剪你的照片成768×768(我这里是用了768×768)的比例,裁剪照片可以到birme站点裁剪后批量下载,或者利用picpick软件自己裁剪后期用python脚本批量改名和批量二次裁剪。
  2. 准备图片解析词,用stable diffusion 图片预处理模块preprocess image进行图片解析,注意图片尺寸修改为我们裁剪后的图片尺寸图片解析使用BLIP,图片少于15张建议勾选create Flipped copies选项。
  3. (可选)编辑我们生成好的解析词文件,加入我们的关键人物tag,如果是服饰图片,可以给服饰加上我们自定义的tag用于区分服饰,相同的发型也可以打上发型的自定义tag,后面使用该lora模型可以加上服饰或发型部分的tag用于生成对应要求的图像,这里图片解析词我们可以使用kohay_ss的Utilities下的Captioning批量给我们处理后的解析词文件增加对应的角色tag服饰tag,或者利用软件

BooruDatasetTagManager​github.com/starik222/BooruDatasetTagManager/releases/download/v1.5.1/BooruDatasetTagManager.v1.5.1.zip

批量增加我们的tag,推荐使用BooruDatasetTagManager,可以自己选中多张图加入我们要的tag,人物我们可以增量加入常用的tag如face,nose,lips,hairstyle,eyes,ears,forehead,breast等。

三.开始训练

  1. 准备好kohay_ss GUI训练工具(这里使用拓展的训练工具)并成功启动
  2. 建立训练所需的三个文件夹image,model,log三个文件夹,然后在image目录下新建一个文件夹,文件夹命名符合以下规则形(数字_角色关键词)136_zoogygh
  3. 数字部分取(1500除以图片数量和100的最大值),每张图片训练步数起步最低100
  4. 加载基础的训练配置文件,这里网上有整理了针对基础配置和低显存配置的两个默认的训练配置文件,我们加载进来后,默认基于stable diffusion1.5的模型训练的,这里看个人需求,可以选择custom后加载自己的模型文件
  5. 把我们预处理后的图片拷贝到数字_关键词的目录下面,然后开始设置我们刚刚定义好的三个文件夹目录位置,注意image文件目录不需要选择到我们的图片,直接到image这层路径就好了
  6. 微调我们的训练参数
  7. 开始训练

四.模型使用

1.训练完后会在我们刚刚定义的model目录下生成一个lora模型文件,我们将他拷贝到stable diffusion的model目录下的lora文件夹

2.安装lora加载插件,安装后可以在图生图的快捷区域调出我们的模型文件,复制一段提词后,点击我们的lora模型,在正面提词里修改我们的lora模型权重,或者加上服饰tag,开始抽卡

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值