一个特定人物形象的lora

一、效果

LYX,detailed face

优点：不同角度，不同姿势，正脸，侧脸，半侧脸都很自然。

缺点：半身照相似度不够

猜测原因：数据集只有20张。且裁成512后，更加聚集于学习人脸。

不加detailed face，只用LYX：

说明完全把人物特征刻画进了我们的触发词LYX中。

增加半身和全身数据集，分别25张，裁剪成512*768，分开90：150训练，80：100，70：80，100：100次数.

二、流程

1、准备数据集

准备20-50张图，要各种角度，人脸，全身，半身，注意图片清晰度，质量。

2、预处理

底模是：ChillOutMix

裁剪成512*512，因为底模是512。

高清修复，可选项。

3、打标

生成自然语言描述和tag

能承载2-3个相同维度的视觉概念，比如都是形态或都是材质

核对准确性，添加触发词（放第一位），删除希望被记住的人物特征类词，保留的提示词绘图时可以改变。

数据集：各种角度，姿势，服装，欠缺全身图。

4、训练

对于全身，半身分开训练。全身训练次数更多。

全半身数据集：各种服装，姿势，角度，场景，有些图片背景过于复杂，不够纯净。

三、参数

1、设置

1）batch size：训练图>20开到2，低于20开1，越大拟合程度越高

2）Epoch：图片张数*训练次数*Epoch>=5000

3）LR scheduler：简单结构用constant，人等复杂用cosine/cosine with restarts

4）Optimizer：练一类物品选AdamW8bit，练一件物品或人就选Lion

5）Dimension：以32倍数增减，128

6）Alpha：测试画XY图

2、测试

epoch=10过拟合

LYX,best quality,detailed face,upper body,full body

不同的prompt单独作用的对比：

90 150：对比512版本，半身和全身质量提升很大。

不同采样器的作用效果（部分）：其他参数都可以如此生成对比图，选择需要的。

四、扩展

1、不同权重，lora再底模上加载的权重，不同epoch保存的lora效果。

2、多个lora混用：比如针对全身训练个lora，再与人脸的lora，以一定权重混合出图。

3、C站上下载一些成熟的lora，混合自己生成的lora。

4、目前可以认为：数据集，训练次数，epoch，标注影响较大。其他参数可以参考C站上成熟的lora的参数，或者生成对比图根据自身需求选择。