Stable Diffusion WebUI 笔记本低显存无魔法本地安装使用(六)--- 学习(二)--- lora

本文探讨了LORA技术如何通过与不同风格的checkpoint结合来影响图像生成,发现不同风格的checkpoint会影响LORA的表现,需要调整LORA比重以实现特定风格的输出。
摘要由CSDN通过智能技术生成

一、简介

LORA的介绍已经有很多了,大家可以从各种渠道去了解,我个人任务LORA 是通过训练得到的一种结果,比如某个人的训练的结果,比如某种风格的训练结果,当你要指定某个人或某种物品等的时候,你不不要去绞尽脑汁,想尽办法,去想提示词,如何去描述这个人,这个物品,或者这种场景,你只需要使用给定的触发提示词,他就会给你想要的结果。当然,如果提示词是一样的,会产生什么样的结果,我也是不知道的。比如一个lora训练的是《西游记》里的孙悟空,一个lora训练的是《龙珠》里的孙悟空,触发提示词都是“孙悟空”,当你同时使用了这2个lora,然后输入了“孙悟空”的提示词,那会出来什么呢?

二、 使用到的checkpoint和lora

checkpoint:

1. v1-5-pruned-emaonly.safetensors(https://hf-mirror.com/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors?download=true)

2. majicMIX realistic 麦橘写实_v7.safetensors (https://www.liblib.art/modelinfo/bced6d7ec1460ac7b923fc5bc95c4540)

3. 

lora:

1. 1.5-毛茸茸的动物(https://www.liblib.art/modelinfo/5921422aa8d84dcc87d2a76e09a2c0a0

三、 使用基础checkpoint生成

checkpoint: v1-5-pruned-emaonly.safetensors

prompt:Fluffy,rabbit,big eyes,white hairy,<lora:04hairy:1>,

生成图片:

这是一个幻想风格的lora,出图确实是幻想风格

四、 使用真实风格的checkpoint配合幻想风格的lora

这样的配合能生成图片吗,我们试试

checkpoint: majicMIX realistic 麦橘写实_v7.safetensors

prompt:

a girl and a rabbit,
1girl\(beside table , sitting\),
rabbit\(Fluffy,big eyes,white hairy,on table\),
landscape,indoor,
<lora:04hairy:1>,

 生成图片:

这是什么?说好的真实风格呢?说好的提示词呢?

看来lora对checkpoint是会有点影响的。

五、 减小lora的比重后

将上面的lora比重设置为0.5

checkpoint: majicMIX realistic 麦橘写实_v7.safetensors

prompt:

a girl and a rabbit,
1girl\(beside table , sitting\),
rabbit\(Fluffy,big eyes,white hairy,on table\),
landscape,indoor,
<lora:04hairy:1>,

生成图片:

可以看出,已经接近checkpoint的真实系风格了。

六、总结

从上面的实验可以看出,如果是不同风格的checkpoint和lora,一起使用,他们是会互相影响的,如果想要某种风格,则需要加大或减小lora的比重。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值