SD3开源 | 一场技术与创意的盛宴，邀你共赴（附安装方法和下载链接）

最新推荐文章于 2024-06-25 17:18:43 发布

鱼白蓝

最新推荐文章于 2024-06-25 17:18:43 发布

阅读量1.1k

点赞数 32

文章标签：人工智能 AI作画 AIGC stable diffusion

本文链接：https://blog.csdn.net/qq_45500095/article/details/139711523

版权

6月12日，AI生图领域的“源神” ——Stability AI终于正式将Stable Diffusion 3 Medium开源！

接下来我将介绍一下如何安装，以及模型和工作流的基本用法，也会附上下载链接，和我自己的测试效果。快点部署起来吧！

01 模型安装 Installing

首先需要下载4个大模型，将其放在ComfyUI\models

\checkpoints的位置。

宝宝脸链接：

https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main

Checkpoints

这四个模型的介绍如下：

💫 sd3_medium.safetensors

包括 MMDiT 和 VAE 权重，但不包括任何文本编码器。

💫 sd3_medium_incl_clips_t5xxlfp16.safetensors

包含所有必要的权重，包括 T5XXL 文本编码器的 fp16 版本。(选择这个版本可以忽略Clip节点，直接连接到提示词节点，如下图示意。经我有限的测试，对出图效果没有什么影响，如有指正，欢迎留言。）

💫 sd3_medium_incl_clips_t5xxlfp8.safetensors

包含所有必要的权重，包括 T5XXL 文本编码器的 fp8 版本，提供质量和资源要求之间的平衡。

💫 sd3_medium_incl_clips.safetensors

包括除 T5XXL 文本编码器之外的所有必需权重。它需要最少的资源，但如果没有 T5XXL 文本编码器，模型的性能将会有所不同。（显存有限优先选择这个)

PS: 可以根据自己的需要和电脑的性能选择合适的模型。

接着第二步，需要安装4个Text_encoders文本编码器模型，放在路径：ComfyUI\models\clip。

宝宝脸链接：

https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main/text_encoders

最后第三步，别忘了将你的comfyui更新到最新版本。在路径comfyui下打开cmd窗口，输入：git pull，即可更新。

02 工作流 Workflows

官方给出了3个示例工作流，把它们都下载下来。

宝宝脸链接：

https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main/comfy_example_workflows

需要注意的是，我们选择不同的SD3大模型时，需要相应选择不同的clip模型。

在使用sd3_medium时，是必须连接TripleCLIPLoader的。第一个和第二个clip模型（红色框）是固定的，不能改变，第3个可以根据需要选择。

使用其他大模型时可以选择跳过TripleCLIPLoader节点，直接将checkpoint连接到文本ClipTextEncode。

测试 Test

全部安装完毕，赶快打开comfyui，开始测试吧！

以下是我的一些测试结果：

提示词：

形状是“SD3”的曲奇饼干

提示词：

形状是字母的巧克力曲奇饼干，字母是“SD3 is cool"，盘子放在木桌上，旁边是一个白色信封，信封上有红色的爱心图案（可以看到，出图完全符合提示词）

提示词：

抱着小熊的女孩，墙上写着“SD3”

提示词：

女孩，银色长发，齐刘海，坐在太空舱里，未来，赛博朋克，太空舱上写着”SD3”

提示词：

猫咪，戴着牛仔帽子，戴着项圈，项圈上有一块银色的圆牌，牌子上写着“SD3”，蓝色瞳孔，夜晚

经过我有限的测试，目前SD3在文字方面非常优秀，简单的单词都可以实现，比较长的句子，像例子中用到的“SD3 is cool”，可以换更大的大模型，效果会比较好。另外，目前SD3还没有lora，使用比较简单的提示词出来的图不太漂亮，需要写比较具体的prompt进行调整。

例如——

官方提示词：

a female character with long, flowing hair that appears to be made of ethereal, swirling patterns resembling the Northern Lights or Aurora Borealis. The background is dominated by deep blues and purples, creating a mysterious and dramatic atmosphere. The character's face is serene, with pale skin and striking features. She wears a dark-colored outfit with subtle patterns. The overall style of the artwork is reminiscent of fantasy or supernatural genres.

翻译：

一个女性角色，长发飘逸，看起来像是北极光或极光的飘逸漩涡图案。背景以深蓝色和紫色为主，营造出神秘而戏剧性的氛围。角色的脸色平静，皮肤苍白，五官醒目。她穿着深色衣服，图案细腻。作品的整体风格让人联想到幻想或超自然流派。