StableDiffusion中LORA模型的使用

目录

前言

一、LoRA是什么?

二、使用方法

1.存放LORA模型

2.使用LORA模型

3.查看结果

总结


前言

(1)Sampler——采样方式,在Stable Diffusion WebUI中的Sampling method中进行选择
(2)Model——作者使用的大模型,在Stable Diffusion WebUI中的Stable Diffusion checkpoint中进行选择
(3)CFG scale——提示词相关性,在Stable Diffusion WebUI中的CFG scale进行调整
(4)Steps——采样迭代步数,在Stable Diffusion WebUI中的Sampling steps中进行调整
(5)Seed——随机种子,在Stable Diffusion WebUI中的Seed中进行调整

一、LoRA是什么?

LoRA模型全称是:Low-Rank Adaptation of Large Language Models,可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。

二、使用方法

1.存放LORA模型

路径:

\\sd-webui-aki-v4\extensions\sd-webui-additional-networks\models\lora文件夹下

2.使用LORA模型

prompt区域输入trigger word触发词,放在最前面。(选择需要的加入到Prompt中,才能将相应的元素触发出来)

注意:一定要使用触发词,在LoRa下载界面中,右侧有个Trigger Words就是触发词,你需要选用一个,写入你的正向提示词中。

  • 选择LORA模型

  •  输出正向提示词和反向提示词,以及设置必要的参数
  • 点击生成

3.查看结果

 


总结

以上就是使用stable diffusion绘图的过程及结果内容。

### 如何在 Stable Diffusion 中应用 LoRA 模型 #### 准备工作 为了使 LoRA 模型能够在 Stable Diffusion 中生效,需将其转换为目标框架支持的文件格式。默认情况下,LoRA 的输出是以 Pytorch 文件形式保存,在用于 Stable Diffusion Web UI 前,应先转成 safetensors 格式[^2]。 ```bash python diffusers-lora-to-safetensors.py --file pytorch_lora_weights.bin ``` 完成上述命令执行后,得到的 `.safetensors` 文件应当被放置于 `$HOME/stable-diffusion-webui/models/Lora/` 下以便加载使用。 #### 微调过程中的注意事项 当采用 LoRA 技术对预训练模型实施增量学习时,该方法记录的是相对于原始权重的变化部分而非全部更新后的参数集。这使得可以通过调整介于0至1间的融合因子来灵活调控新旧知识间平衡的程度[^1]。 对于希望在同一基础架构之上探索不同风格变换的应用场景而言,多组独立训练出来的 LoRA 可以并行激活共存,从而实现更加多样化的创作可能性。 尽管如此,值得注意的是,相较于传统全量参数微调方式,利用 LoRA 进行定制化开发可能无法达到同等复杂度的画面效果;不过其优势在于更高的稳定性和较低的学习成本[^3]。 #### 推理阶段的操作指南 一旦完成了必要的前期准备以及潜在的再训练环节之后,在实际部署期间只需确保所使用的软件环境已正确配置好对应版本库[^4],并通过指定路径加载所需的 LoRA 权重即可启动推理流程。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值