强大的Lora绘图模型使用-StableDiffusion

最新推荐文章于 2025-05-13 13:56:31 发布
最新推荐文章于 2025-05-13 13:56:31 发布
阅读量681 收藏 8
点赞数 21
分类专栏： Python应用教程 文章标签： stablediffusion ai绘画 AI作画 AIGC 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73873732/article/details/147900420
版权

前置教程

本地玩AI绘画 | StableDiffusion安装到绘画 – 土拨鼠原创教程

下载Lora模型

来到Civitai.com 模型站，随机抽取下载一个Lora模型，如图我下载的模型名为

XHSCrazyGirIDesign_v240919b_r64.safetensors，需要这个Lora模型的 点击下载=> https://pan.quark.cn/s/3bc176feaa19

80b47d2f-d777-4a41-bd72-24c3312eab48

开始使用

这里需要讲解下，lora模型是需要结合主模型使用的，无法单独使用，上图可以看到显示的Base Model为SD1.5，但是实际上点开一张图片可以看到实际这个主模型是需要realisian_v60，这个realisian_v60在上篇娇嗔我已经提供。

image

将下载的Lora模型XHSCrazyGirIDesign_v240919b_r64.safetensors 放置到 stable-diffusion-webui\models\Lora中，如图

2505b84f-33b3-4851-a7de-5bb89ed264fd

然后启动StableDiffusionWebUI，首先要在最左上角选择Lora对应的主模型->realisian_v60.safetensors，然后点击下面的Lora，再点击 XHSCrazyGirIDesign_v240919b_r64，即可看到，这个Lora会自动在Prompt区域填充lora标签

bec0c56b-2702-4910-bfdf-614747ce6317

这次我们还是只写一个提示词girl，然后生成，结果如下，可以看到，已经是lora风格的绘图了

386dbfae-5c6e-49fa-9106-db94a9dfc99b

如果要想和lora模型介绍绘制出一样的效果，如何做呢？在模型下载处，有的官方会提供一些提示词，如图

f9e22547-3274-4a71-b8d0-b415d82c0c3a

我们将提示词复制粘贴到prompt框中，然后这里建议将Schedule type设置Karras，Karras是一个写实的偏真人使用的，再次点击生成，效果如下

aa23edb7-1825-4a37-95e6-c4a069f271f0

疑问

在上面我们使用主模型+lora模型生成了想要的图片，但是细心的同学会发现，人物的面部和手指绘制的比较混乱， 这个问题是AI绘画领域中常见的，下篇教程幽络源将提供StableDiffusion的面部修复配置教程

查看下节教程-StableDiffusion的脸部修复与换表情配置教程

StableDiffusion的脸部修复与换表情-幽络源土拨鼠原创

AI绘画 | stable-diffusion的模型简介和下载使用
洛阳泰山的博客
10-30 9998
我们下载完stable-diffusion-ui后还需要下载需要的大模型，才能进行AI绘画的操作。秋叶的stable-diffusion-ui整合包内，包含了anything-v5-PrtRE.safetensors和Stable Diffusion-V1.5-final-prune_v1.0.ckpt两个模型。anything-v5-PrtRE.safetensors模型可以用于生成多种类型的图像，包括肖像、风景、动物、卡通、科幻等，它具有较强的适应性和泛用性，效果表现出较强的真实感和细节还原能力。
【第4章】Stable DIffusion WebUI模型（5大类模型的区别/用途/下载/安装/使用方式/C站使用方式）
聚梦小课堂
10-29 1149
详细讲解Stable Diffusion WebUI的模型，知识点涵盖：SD模型的用途与分类、5大类模型的区别、如何下载和安装模型？如何调用模型？如何在C站下载模型？完成本章的学习，你将拥有多种画风，甚至可以画出特定人物形象等。
StableDiffusion中LORA模型的使用
热门推荐
qq_52231465的博客
05-15 1万+
（1）Sampler——采样方式，在Stable Diffusion WebUI中的Sampling method中进行选择（2）Model——作者使用的大模型，在Stable Diffusion WebUI中的Stable Diffusion checkpoint中进行选择（3）CFG scale——提示词相关性，在Stable Diffusion WebUI中的CFG scale进行调整。
AI绘图StableDiffusion最棒LoRA模型盘点 - 小样也能出奇迹
2401_84815950的博客
06-17 1167
AIGC（AI Generated Content）技术，即人工智能生成内容的技术，具有非常广阔的发展前景。随着技术的不断进步，AIGC的应用范围和影响力都将显著扩大。以下是一些关于AIGC技术发展前景的预测和展望：1、AIGC技术将使得内容创造过程更加自动化，包括文章、报告、音乐、艺术作品等。这将极大地提高内容生产的效率，降低成本。2、在游戏、电影和虚拟现实等领域，AIGC技术将能够创造更加丰富和沉浸式的体验，推动娱乐产业的创新。
AI绘图StableDiffusion最强大模型盘点 - 诸神乱战
2401_84815950的博客
06-17 1288
AIGC（AI Generated Content）技术，即人工智能生成内容的技术，具有非常广阔的发展前景。随着技术的不断进步，AIGC的应用范围和影响力都将显著扩大。以下是一些关于AIGC技术发展前景的预测和展望：1、AIGC技术将使得内容创造过程更加自动化，包括文章、报告、音乐、艺术作品等。这将极大地提高内容生产的效率，降低成本。2、在游戏、电影和虚拟现实等领域，AIGC技术将能够创造更加丰富和沉浸式的体验，推动娱乐产业的创新。
AI绘图StableDiffusion最棒LoRA模型盘点
WANGJUNAIJIAO的博客
05-22 1339
这期来盘点一下我心目中最有意思的LoRA模型。 LoRA模型就属于百花齐放了，因为他精致小巧的特性，有无数的LoRA都能达到不错的效果。其中特定人物的LoRA模型最多。
AI绘图StableDiffusion最棒LoRA模型盘点 - 小样也能出奇迹_stable diffusion lora模型
Python栈_基的博客
04-12 1764
以上便是我目前最喜欢也是我现在最常用的LoRA模型啦。
AI绘画-【StableDiffusion】从入门到放弃--Lora模型
HJS123456780的博客
12-12 1034
如果你是真正有耐心想花功夫学一门技术去改变现状，我可以把这套AI教程无偿分享给你，包含了。
AI绘图StableDiffusion最棒LoRA模型盘点 - 小白也能出奇迹_stable diffusion lora模型
2401_84760719的博客
04-18 675
以上便是我目前最喜欢也是我现在最常用的LoRA模型啦。
Controlnet SDXL最新模型-.safetensors文件包合集
03-07
"stablediffusion"特指本文中讨论的稳定扩散技术，而"controlNet"则强调了模型对动作控制的能力。 总的来说，Controlnet SDXL模型代表了AI绘图技术的前沿，特别是在人物动作和姿势控制方面。它的".safetensors"文件...
超频创意：LORA模型在Stable Diffusion中的硬件加速优化大冒险 ?????
一个做过前端开发的产品经理，经历过睿智产品的折磨导致脱发之后，励志要翻身"农奴"把歌唱，一边打入敌人内部一边持续提升自己，为我们广大开发同胞谋福祉，坚决抵制睿智产品折磨我们码农兄弟！
06-17 1161
优化之旅永无止境，LORA与硬件加速的完美融合，不仅让创意加速实现，更开启了通往高效AI应用的新纪元。我们在这场冒险中学到了哪些宝贵经验？又或许，你已经迫不及待想要分享自己的加速奇招了。评论区，就是你的舞台，让我们共同探讨，携手推进AI技术的极限边界！愿此篇博客成为你加速AI梦想的助燃剂，无论你是刚启程的探索者，还是久经沙场的老兵，都能从中汲取灵感，加速前行。未来，就在我们手中，以技术为翼，共绘智能世界的壮丽图景！欢迎来到我的博客，很高兴能够在这里和您见面！
AI 绘画基础 - 细数 Stable Diffusion 中的各种常用模型 【 魔导士装备图鉴】
ZxBing0066的博客
05-10 1894
上面几种模型就是 Stable Diffusion 中最常用的几种，通过 Checkpoint 控制图片的主要风格；通过 VAE 给图片补光、调亮；通过 LoRA ｜ LyCORIS 对模型进行风格、角色控制；通过 Textual Inversion 简化 Prompt；通过 ControlNet 进行姿势、色彩控制，修复手部。不过这并不是 Stable Diffusion 中所有的模型，其它的一些模型如果有空再整理下。
AI绘画灵感觉醒指南：从灵感源泉到创意输出
2301_76297596的博客
05-10 644
AI 绘画已成为艺术创作领域中一颗耀眼的新星，以惊人的速度改变着我们对艺术创作的认知与理解。从最初简单的线条勾勒，到如今能够生成高度逼真、风格多样的复杂图像，AI 绘画技术的进步令人惊叹
「Mac畅玩AIGC与多模态28」开发篇24 - 使用模板转换节点拼接多段文本输出示例
天月智联
05-09 304
本文介绍了如何在 Dify 平台中使用模板转换节点（Template Join）将数组格式的内容拼接为整段文本。通过创建和配置工作流，用户可以设置模板拼接规则，使用分隔符连接数组字段，并生成自然语言格式的输出段落。具体步骤包括新建工作流应用、配置开始节点、添加执行 LLM 节点、设置模板转换节点以及发布和测试工作流。本文还提供了输入和输出示例，展示了如何将多个关键词转换为建议性语句。通过本案例，用户可以掌握模板转换节点的基本用法，适用于兴趣清单处理、结果归纳等多项内容合成任务。
【AIGC 温柔档案】：镂空蕾丝与柔和线条的唯美算法融合
最新发布
dingzuoai的博客
05-13 93
该平台突破传统工具对专业术语的依赖，用户仅需输入如“水墨风格的山间庭院，晨雾中若隐若现”等生活化描述，即可通过概念融合技术自动补全场景构图、光影层次及风格细节，输出电影级画面。进入页面后，选择“AI”，在左侧列表选择文生图，在绘画描述中输入要生成图片的描述，也就是提示词（prompt），如果你不知道怎么更好的形容你想要的图片，可以让它帮你优化你输入的内容，描述词好了之后还可以选择自己需要图片的风格以及尺寸，可以选择一次性生成1-4张图片，最后在右下角点击“立即生成”按钮。
AIGC理论基础：大模型通识
herosunly的博客
05-09 2649
介绍了大模型（LLM）的基本概念、发展脉络、核心结构、训练过程、能力范围、优势与不足、发展现状及分类。大模型包括自然语言处理、多模态和科学计算模型，核心为Transformer架构的注意力机制，具有长距离依赖建模和全局感受野等优势。大模型训练需海量数据、强大算力和参数调整，能力涵盖文本生成、分类、情感分析、知识问答、代码生成、语言翻译和文本摘要等。尽管大模型在提升工作效率和激发创新能力方面表现突出，但仍存在模型幻觉、知识过时和训练成本高昂等问题。当前大模型发展呈现多家竞争态势，模型长度和输出模态不断增加。
「Mac畅玩AIGC与多模态26」开发篇22 - 多项兴趣格式化建议输出工作流示例
天月智联
05-08 608
本文介绍了一个简化版的工作流设计，旨在通过大型语言模型（LLM）处理用户兴趣内容。工作流在Dify平台上实现，包括创建应用、配置输入变量、添加LLM节点和结束节点等步骤。LLM节点负责提取用户兴趣关键词并生成个性化建议，最终合并为一段流畅的中文文本。通过测试，工作流成功将用户兴趣转化为鼓励性建议，展示了其在兴趣推荐和内容归纳等轻量场景中的应用潜力。此案例为后续更复杂的内容处理任务奠定了基础。
AIGC时代大模型幻觉问题深度治理：技术体系、工程实践与未来演进
程序边界
05-10 2696
大模型幻觉问题的治理需要构建"数据-算法-验证-治理"四位一体的防御体系。通过实施动态数据清洗、逻辑推理增强、多模型交叉验证等技术组合，结合量子计算、神经符号系统等前沿技术，可将幻觉率从当前的15%-20%降低至0.5%以下。正如Gartner预测，到2026年，采用全面幻觉治理方案的企业将获得3倍于竞争对手的AI投资回报率。未来，随着技术演进和治理体系完善，AIGC技术将真正突破幻觉困境，成为推动产业变革的核心生产力。
lora模型 ai绘图
02-09
### LoRA模型在AI绘图中的应用 #### 应用场景概述 LoRA模型，即低秩适应大型语言模型，在AI绘图领域有着独特的优势。这种模型能够作为Stable Diffusion的一个插件存在，仅需少量数据即可完成训练过程[^1]。由于其体积较小且易于定制化的特点，使得众多开发者和艺术家们可以根据具体需求创建各种类型的LoRA模型来增强图像生成效果。 #### 实现方式详解 ##### 数据准备阶段 为了使LoRA模型更好地服务于特定风格或主题下的图片创作，通常需要收集一定量的相关素材作为训练集的一部分。这些素材应当尽可能覆盖目标应用场景内的多种变化形式，比如不同角度的人物肖像照片、具有代表性的风景画作片段等。 ##### 训练流程说明 当准备好足够的高质量样本之后，便可以通过微调的方式让预训练好的大模型学习到新的特征表示方法。对于LoRA而言，这一过程中最重要的是调整那些负责捕捉细微差别的参数部分，而保持其他大部分权重不变，以此确保整体架构稳定的同时引入个性化元素。 ```python from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler import torch model_id = "runwayml/stable-diffusion-v1-5" pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16).to("cuda") # Load the LoRA model into pipeline lora_model_path = "./path_to_your_lora_model.safetensors" def load_lora_weights(pipeline, lora_path): from safetensors.torch import load_file as safe_load state_dict = safe_load(lora_path) for key in list(state_dict.keys()): if 'text_encoder' not in key and 'unet' not in key: del state_dict[key] pipeline.unet.load_state_dict(state_dict) load_lora_weights(pipe, lora_model_path) prompt = "A fantasy landscape with mountains and rivers." image = pipe(prompt=prompt).images[0] image.show() ``` 此段代码展示了如何加载并应用于已有的Stable Diffusion管道中，通过指定路径读取外部保存的LoRA权重文件，并将其融入现有网络结构里以影响最终输出结果的质量与特色[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值