一、简介
LORA的介绍已经有很多了,大家可以从各种渠道去了解,我个人任务LORA 是通过训练得到的一种结果,比如某个人的训练的结果,比如某种风格的训练结果,当你要指定某个人或某种物品等的时候,你不不要去绞尽脑汁,想尽办法,去想提示词,如何去描述这个人,这个物品,或者这种场景,你只需要使用给定的触发提示词,他就会给你想要的结果。当然,如果提示词是一样的,会产生什么样的结果,我也是不知道的。比如一个lora训练的是《西游记》里的孙悟空,一个lora训练的是《龙珠》里的孙悟空,触发提示词都是“孙悟空”,当你同时使用了这2个lora,然后输入了“孙悟空”的提示词,那会出来什么呢?
二、 使用到的checkpoint和lora
checkpoint:
1. v1-5-pruned-emaonly.safetensors(https://hf-mirror.com/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors?download=true)
2. majicMIX realistic 麦橘写实_v7.safetensors (https://www.liblib.art/modelinfo/bced6d7ec1460ac7b923fc5bc95c4540)
3.
lora:
1. 1.5-毛茸茸的动物(https://www.liblib.art/modelinfo/5921422aa8d84dcc87d2a76e09a2c0a0)
三、 使用基础checkpoint生成
checkpoint: v1-5-pruned-emaonly.safetensors
prompt:Fluffy,rabbit,big eyes,white hairy,<lora:04hairy:1>,
生成图片:
这是一个幻想风格的lora,出图确实是幻想风格
四、 使用真实风格的checkpoint配合幻想风格的lora
这样的配合能生成图片吗,我们试试
checkpoint: majicMIX realistic 麦橘写实_v7.safetensors
prompt:
a girl and a rabbit,
1girl\(beside table , sitting\),
rabbit\(Fluffy,big eyes,white hairy,on table\),
landscape,indoor,
<lora:04hairy:1>,
生成图片:
这是什么?说好的真实风格呢?说好的提示词呢?
看来lora对checkpoint是会有点影响的。
五、 减小lora的比重后
将上面的lora比重设置为0.5
checkpoint: majicMIX realistic 麦橘写实_v7.safetensors
prompt:
a girl and a rabbit,
1girl\(beside table , sitting\),
rabbit\(Fluffy,big eyes,white hairy,on table\),
landscape,indoor,
<lora:04hairy:1>,
生成图片:
可以看出,已经接近checkpoint的真实系风格了。
六、总结
从上面的实验可以看出,如果是不同风格的checkpoint和lora,一起使用,他们是会互相影响的,如果想要某种风格,则需要加大或减小lora的比重。