Stable Diffusion绘画 | 多个LoRA叠加使用的技巧

添加 LoRA 时,并不是越多越好,

而且需要选择跟整体画面画风搭配的 LoRA,

同时,添加多个 LoRA 时,要注意每个 LoRA 的兼容性。

实操

现在我想生成一张含有龙的中国插画风图片:

提示词:1girl,Chinese new year,solo,huge Chinese dragon,looking at viewer,blush,smile, the girl with short brown hair,hair ornament,blue eyes,full body,flower,chinese clothes,Chinese red dress, paper lantern,east asian architecture,festival,

在不适用 LoRA 的情况下,生成图片如下:

出图存在的问题:

  • 没有中国风插画的效果

  • 中国龙的元素没有展示,并且龙的尾巴长在女孩的身上

为了解决以上两个问题,最直接的解决方案是添加一个国潮插画的LoRA,权重设置为 0.8:

生成图片效果如下,国风插画的效果就有了,而且小女孩和龙也分离了:

添加第1个LoRA 后的出图,没有将龙的整体形态展示出来,缺少一种巨龙在空中盘旋的感觉,

于是,添加第2个 LoRA,考虑到当前画风是偏向扁平化的,选择一个画风相符的 LoRA:

添加2个 LoRA 后,要适当调整2个 LoRA 的权重,例如我这里,将一个设置为0.4,另一个设置为0.6(要根据出图效果进行调整权重)。

出图效果如下:

今天先分享到这里~

这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

### 如何在Stable Diffusion使用两个LoRA模型 为了在同一时间内利用多个低秩适应(Low-Rank Adaptation, LoRA模型来增强或改变Stable Diffusion的行为,可以采用组合不同LoRA权重的方法。这种方法允许用户通过调整各个LoRA模块的影响程度,从而实现更精细的艺术风格控制或是概念融合。 当加载两个LoRA模型时,通常的做法是在配置文件或者命令行参数中指定这两个预训练好的LoRA权重路径,并设置相应的比例因子用于调节各自贡献度。具体操作取决于使用的特定版本的Stable Diffusion以及其接口设计[^1]。 对于某些实现了多LoRA支持的应用程序而言,可能还提供了图形界面选项让用户直观地选择想要应用的一个或多个人物角色、艺术流派或者其他自定义特征向量。然而,在大多数情况下,这涉及到修改启动脚本中的环境变量或者是编辑`.yaml`配置文件以包含额外的LoRA资源链接及其对应的强度系数。 下面是一个简单的Python代码片段展示如何编程方式加载并混合两个不同的LoRA模型: ```python from diffusers import StableDiffusionPipeline pipeline = StableDiffusionPipeline.from_pretrained( "path/to/base/model", lora_weights=["path/to/lora_model_1.safetensors", "path/to/lora_model_2.safetensors"], lora_scale=[0.75, 0.25], # Adjust these values based on desired effect balance between both models. ) image = pipeline(prompt="your prompt here").images[0] image.save("output_image.png") ``` 此段代码展示了如何创建一个基于基础模型之上叠加了两层LoRA微调后的管道实例,并指定了每种风格所占的比例。请注意实际部署环境中具体的API名称可能会有所不同;上述例子仅作为示意用途。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值