SD 的Lora真好玩,小小体积,大大变化

Lora模型文件比较小,主要是调整图片的风格的,它需要在基础模型里去展现,比如SD 1.5,不同的基础模型实现出来的话都是不同的风格。

我们看一下比较好玩的盲盒模型,感觉巨可爱。

1.Lora盲盒模型

Lora的盲盒模型,可以在Civitai网站这里下载。https://civitai.com/models/25995/blindbox

 基础模型:rundiffusionFX25D_v10

Lora:blindbox_v1_mix

lora的使用是直接在提示词里写,写法是<lora: 模型文件名: 权重 > 。通常权重的范围是 0 到 1,其中 0 表示 LoRA 模型完全不起作用。

女生提示词加盲盒形式:

(masterpiece),(best quality),(ultra-detailed),(full body:1.2),1girl,chibi,cute,smile,flower,outdoors,playing guitar,jacket,blush,shirt,short hair,cherry blossoms,green headwear,blurry,brown hair,blush stickers,long sleeves,bangs,headphones,black hair,pink flower,(beautiful detailed face),(beautiful detailed eyes),<lora:blindbox_v1_mix:1>,`,
### 使用 Stable DiffusionLoRA 的微调与推理方法 #### 微调过程概述 为了使用 LoRAStable Diffusion (SD) 模型进行微调,可以遵循以下流程。首先需要准备数据集以及配置环境,之后通过指定参数运行训练脚本完成模型调整。 1. **安装依赖库** 安装 `diffusers` 库及其相关依赖项是必要的前提条件之一[^4]。可以通过 pip 命令轻松实现这一目标: ```bash pip install diffusers transformers accelerate safetensors ``` 2. **设置训练环境** 准备好用于训练的数据集,并将其放置于特定文件夹下以便后续操作能够顺利读取这些素材[^5]。具体来说,在 Web UI 中定义如下几个重要路径: - 图片文件夹路径 (`Image folder`):存储待处理图像的位置; - 日志输出文件夹路径 (`Logging folder`):记录整个过程中产生的各类信息; - 输出模型文件夹路径 (`Output folder`):保存最终生成的新版 SD 或者仅含增量更新部分的 LoRA 权重文档; 3. **执行训练任务** 利用 Kohya 页面提供的图形界面简化复杂度较高的命令行输入方式,只需简单填写各项必要字段即可启动进程。当全部迭代结束后,可以在 OSS 控制台上找到新创建出来的 LoRA 参数包。 #### 合并基础模型LoRA权重 一旦完成了上述提到的所有步骤,则需借助专门编写的 Python 脚本来达成两者的无缝衔接效果[^3]。以下是实际使用的样例代码片段: ```python import argparse if __name__ == "__main__": parser = argparse.ArgumentParser() # 添加必需选项 parser.add_argument("--sd_model", type=str, required=True, help="Path to the original stable diffusion model file.") parser.add_argument("--save_to", type=str, required=True, help="Destination path where merged model will be saved.") parser.add_argument("--models", nargs='+', required=True, help="List of paths pointing towards individual lora files.") parser.add_argument("--ratios", nargs='+', default=[1]*len(models), type=float, help="Corresponding scaling factors applied on each respective loras.") args = parser.parse_args() from networks.merge_lora import merge_lora_weights result = merge_lora_weights(args.sd_model, args.models, args.ratios) result.save(args.save_to) ``` 此段程序允许使用者灵活设定不同 LoRA 层次间的比例关系从而获得更加理想的效果表现形式。 #### 推理阶段指导 对于已经成功融合完毕的整体架构而言,现在就可以着手开展基于它的预测工作啦! 加载预训练好的组合体作为初始状态并向其中注入新的提示词序列以激发创造力无限的可能性空间吧[^1]!下面给出一段简单的演示实例供参考学习之用: ```python from diffusers import DPMSolverMultistepScheduler, StableDiffusionPipeline import torch model_path = "./path/to/merged/model" pipe = StableDiffusionPipeline.from_pretrained(model_path).to("cuda") prompt = "a professional photograph of an astronaut riding a horse" image = pipe(prompt=prompt).images[0] image.show() ``` 以上就是关于如何运用 Stable Diffusion 结合 LoRA 技术来进行高效定制化创作的一整套解决方案介绍啦~ ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值