在本篇文章中,我们将介绍如何使用社区提供的LoRA
对模型的输出进行微调。(有需要SD安装包以及lora模型的小伙伴文末扫码获取)
LoRA
LoRA(Low-Rank Adaptation)
是模型训练中的一种模型微调技术,用于在少量数据上快速训练新的模型。LoRA
通过冻结基础模型的大部分参数,只对少量参数进行微调来实现这一点。LoRA
可以使生成的图片增加更多的细节,例如生成特定的角色、动作、背景等。它可以基于现有模型而不必从头开始训练,优点是训练时间短、占用内存少。因此在hugging face
和Civitai
上可以下载到大量社区提供的LoRA
。
今天我们示例的LoRA
如下:
-
国风插画
-
电影照片
-
像素风格
-
添加细节
请注意,在详情页关注Base Model
选项,根据你运行的模型的Base Model
选择合适的LoRA
。比如,本文示例的模型为DreamShaper XL
,因此选择LoRA
时应该对应的Base Model
为SDXL 1.0
。这在上一篇文章中有提到。
基准图片
使用如下代码生成基准图片:
from diffusers import StableDiffusionXLPipeline, DPMSolverSinglestepScheduler device = ‘mps’ pipe = StableDiffusionXLPipeline.from_single_file( “your/path/dreamshaperXL_v21TurboDPMSDE.safetensors”, use_safetensors=True ).to(device) pipe.scheduler = DPMSolverSinglestepScheduler.from_config(pipe.scheduler.config, use_karras_sigmas=True) # Recommended if your computer has < 64 GB of RAM pipe.enable_attention_slicing() prompt = “masterpiece, 1girl, long hair, asian, sundress, cartoon, add detail” negative_prompt = ‘low quality, bad quality, sketches’ image = pipe( prompt, negative_prompt=negative_prompt, num_inference_steps=6, guidance_scale=2, ).images[0] image.save(“data/out.jpg”)
注意提示词为一个穿背心裙的长发亚洲女孩(卡通风格)
,其它参数在上一篇文章中有介绍。
使用LoRA
首先在上面给出的网页上下载safetensors
格式的LoRA
文件,然后在代码中加上一行代码:
pipe.load_lora_weights(“your/path”, weight_name=“lora_name.safetensors”)
这里有两个参数,前面一个参数是LoRA
所在的目录,第二个参数是LoRA
的文件名。
此外,阅读LoRA
详情页,一般作者都会提供触发关键词,如果作者未提供关键词,可能该LoRA
会自动触发,也可以尝试在提示词中添加这个LoRA
的名字。
接下来我们看下分别使用这4个LoRA
的效果。
国风插画
触发关键词:guofeng
或Chinese style
。
电影照片
触发关键词:无(自动触发)。
像素风格
触发关键词:pixel
。
添加细节
触发关键词:(add detail)++++++++
。
总结
本文介绍了使用LoRA
为本地Stable Diffusion
模型进行微调,并介绍了如何下载和使用社区提供的已经训练好的LoRA
。使用LoRA
可以使生成的图片增加更多的细节。LoRA
是Text to Image
技术对提示词优化的一种补充。
AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。
写在最后
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
![](https://i-blog.csdnimg.cn/blog_migrate/21ec5c5dcaf55eefaaa719a56b2100c9.jpeg)