背景
StabilityAI
近日开源了Stable Diffusion 3 Medium
,简称 SD3
,该模型拥有着20亿参数。其特点如下:
- 提升了整体图片的质量、真实感
- 提供了三种文本编码器可组合使用,有助于在性能和效率之间做出权衡。同时在空间推理、构图元素、动作、风格理解能力有了更大的提升
- 提升了文本质量,减少拼写、字距调整、字母形成和间距方面的错误
- VRAM 占用空间小,资源高效利用,适合在消费级GPU上运行
- 通过小数据集可以进行更加精细化的微调,适合模型的定制
放一组官方的图体验下
安装
如果之前安装过ComfyUI
,则直接进入ComfyUI
根目录打开Git Bash
工具,输入命令git pull
即可更新ComfyUI
,最新的ComfyUI
已经支持SD3的运行了。
SD3相关模型的下载地址为:https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main
那么,这些模型该如何使用呢?
方式一
如果你不想单独在ComfyUI
中加载CLIP
文本编码器模型,那么可以下载
fp8精度的sd3_medium_incl_clips_t5xxlfp8.safetensors
或者fp16精度的sd3_medium_incl_clips_t5xxlfp16.safetensors
或者sd3_medium_incl_clips.safetensors
这三个模型都内嵌了VAE
以及文本编码器模型,所以下载下来直接使用即可