在本地跑一个AI模型(6) - Stable Diffusion模型微调

在本篇文章中，我们将介绍如何使用社区提供的LoRA对模型的输出进行微调。（有需要SD安装包以及lora模型的小伙伴文末扫码获取）

LoRA

LoRA（Low-Rank Adaptation）是模型训练中的一种模型微调技术，用于在少量数据上快速训练新的模型。LoRA通过冻结基础模型的大部分参数，只对少量参数进行微调来实现这一点。LoRA可以使生成的图片增加更多的细节，例如生成特定的角色、动作、背景等。它可以基于现有模型而不必从头开始训练，优点是训练时间短、占用内存少。因此在hugging face和Civitai上可以下载到大量社区提供的LoRA。

今天我们示例的LoRA如下：

• 国风插画

• 电影照片

• 像素风格

• 添加细节

请注意，在详情页关注Base Model选项，根据你运行的模型的Base Model选择合适的LoRA。比如，本文示例的模型为DreamShaper XL，因此选择LoRA时应该对应的Base Model为SDXL 1.0。这在上一篇文章中有提到。

基准图片

使用如下代码生成基准图片：

from diffusers import StableDiffusionXLPipeline, DPMSolverSinglestepScheduler device = ‘mps’ pipe = StableDiffusionXLPipeline.from_single_file( “your/path/dreamshaperXL_v21TurboDPMSDE.safetensors”, use_safetensors=True ).to(device) pipe.scheduler = DPMSolverSinglestepScheduler.from_config(pipe.scheduler.config, use_karras_sigmas=True) # Recommended if your computer has < 64 GB of RAM pipe.enable_attention_slicing() prompt = “masterpiece, 1girl, long hair, asian, sundress, cartoon, add detail” negative_prompt = ‘low quality, bad quality, sketches’ image = pipe( prompt, negative_prompt=negative_prompt, num_inference_steps=6, guidance_scale=2, ).images[0] image.save(“data/out.jpg”)

注意提示词为一个穿背心裙的长发亚洲女孩（卡通风格），其它参数在上一篇文章中有介绍。

使用LoRA

首先在上面给出的网页上下载safetensors格式的LoRA文件，然后在代码中加上一行代码：

pipe.load_lora_weights(“your/path”, weight_name=“lora_name.safetensors”)

这里有两个参数，前面一个参数是LoRA所在的目录，第二个参数是LoRA的文件名。

此外，阅读LoRA详情页，一般作者都会提供触发关键词，如果作者未提供关键词，可能该LoRA会自动触发，也可以尝试在提示词中添加这个LoRA的名字。

接下来我们看下分别使用这4个LoRA的效果。

国风插画

触发关键词：guofeng或Chinese style。

电影照片

触发关键词：无（自动触发）。

像素风格

触发关键词：pixel。

添加细节

触发关键词：(add detail)++++++++。

总结

本文介绍了使用LoRA为本地Stable Diffusion模型进行微调，并介绍了如何下载和使用社区提供的已经训练好的LoRA。使用LoRA可以使生成的图片增加更多的细节。LoRA是Text to Image技术对提示词优化的一种补充。
AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除