【Stable Diffusion】lora的基础使用技巧

本文介绍了如何有效地使用Lora,特别是基于大模型的训练参数,如墨心Lora。关键在于正确选择和调整Sampler、Model、CFGscale等参数,并注意Lora的权重值,通常保持在0.8-0.9之间。使用触发词能更好地触发图像元素,新手应避免混用Lora,除非有成熟建议。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.用lora配套的大模型效果更好
lora训练是根据大模型作为参考,lora是根据那个大模型来训练参数的
在这里插入图片描述
例如,这里以墨心lora为例,点击示例图片的中的“?”,在Model中就显示出了作者用于训练墨心lora的底模了
2.最好使用和作者相同的参数
还是以墨心lora为例,可以看到示例图片中有Sampler、Model、CFG scale等参数
在这里插入图片描述

(1)Sampler——采样方式,在Stable Diffusion WebUI中的Sampling method中进行选择
(2)Model——作者使用的大模型,在Stable Diffusion WebUI中的Stable Diffusion checkpoint中进行选择
(3)CFG scale——提示词相关性,在Stable Diffusion WebUI中的CFG scale进行调整
(4)Steps——采样迭代步数,在Stable Diffusion WebUI中的Sampling steps中进行调整
(5)Seed——随机种子,在Stable Diffusion WebUI中的Seed中进行调整
Stable Diffusion WebUI中的参数调整位置(除了Stable Diffusion checkpoint在页面最上方)如下:
在这里插入图片描述
值得注意的是,在复制示例图片的Prompt和Negative prompt的提示词时,要注意示例图片的lora词和最后作者发布显示的lora词不一样,例如,这里,示例图片中的使用了两个lora,分别是: lora:shukezouma_v1_1:0.8和lora:shuimobysimV3:0.7
在这里插入图片描述
我们分别下载这两个lora,在页面的上方就显示了这两个lora,点击后进行下载(是的,有时一个页面中可能可以下载多个lora,在Stable Diffusion中配合使用)
在Stable Diffusion WebUI中,我们点击这两个lora,显示的分别是 lora:shukezouma_v1_1:1和 lora:MoXinV1:1,也就是说作者发布的lora名称和示例图片中的lora名称不一样,要注意调整,并将权重值调整为示例图片的权重值

在这里插入图片描述
调整好后,生成图片效果如下:
在这里插入图片描述
可以在示例图片的参数的基础上做进一步尝试和调整,在保证一定质量的基础上,生成更有创意的图片

3.正确地设置lora的使用权重
lora的权重值不要在1以上,不然容易出效果很差的图,权重值最好设置到0.8、0.9能够提高出图质量,如果只想带一点点lora的元素,权重值设置到0.4-0.6就可以了
4.有触发词一定要使用触发词
将Trigger words中的词,选择需要的加入到Prompt中,才能将相应的元素触发出来(有的在Trigger words中的上方有个Tag栏,Tag是lora的标签表示lora大概是什么特征,不是触发词,不需要管tag)
在这里插入图片描述
有的时候,作者并没有给出Trigger Words,此时直接把lora加载进去,也能发挥作用

5.新手尽量不要混用lora
除非lora作者给了非常成熟的建议
因为并不了解每个lora的提示词触发词的训练图集,启用时很容易打架、互相污染,如果一定要多个lora混用,需要学习lora把里面的十几个层分别抽出来单独设置权重,再进行使用,这样的多个lora的混用效果才比较好

### 如何使用Stable Diffusion LoRA模型进行图像生成 #### 启用LoRA功能 在准备利用LoRA优化过的Stable Diffusion模型来创建图片之前,需先进入所使用的软件界面中的文本转图像页面,在这里找到并点击“启用”选项以激活LoRA的支持[^3]。 #### 选择LoRA模型 一旦启用了LoRA支持之后,下一步是从已有的列表里挑选想要应用的具体LoRA模型版本。这些模型通常是事先经过特定风格或主题的数据集训练而成,因此能帮助实现更加个性化的艺术效果。当选择了合适的预训练好的LoRA模型后,它就会被加载到当前的工作环境中。 #### 调整权重参数 为了获得最佳的结果,可以适当调整LoRA层的权重系数,默认推荐设置为0.8左右。这个数值决定了原有基础模型与新增加的LoRA微调部分之间的平衡程度;较低的值意味着更接近原始模型的表现形式,而较高的值则会更多体现新加入特性的影响力。 #### 开始创作过程 完成上述配置步骤以后,便可以直接输入描述性文字提示词作为引导条件,启动图像合成流程。此时系统将会综合考虑既定的文字指导以及选定的LoRA特性来进行创意发挥,最终输出一张融合了指定特征的新颖视觉作品[^2]。 ```python # 假设有一个简单的API接口用于提交生成请求 response = api.generate_image(prompt="A beautiful sunset over the mountains", lora_model="mountain-style-lora", weight=0.8) image_url = response['url'] print(f"Generated image URL: {image_url}") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值