Stability.AI 发布 SD3.5 模型,能否逆袭击败 FLUX?如何在ComfyUI中的使用SD3.5?

就在前天,Stability AI 正式发布了 Stable Diffusion 3.5版本,包括 3 款强大的模型:

  • Stable Diffusion 3.5 Large:拥有 80 亿参数,提供卓越的图像质量和精确的提示词响应,非常适合在 1 兆像素分辨率下的专业用例。

  • Stable Diffusion 3.5 Large Turbo:这是 Large 模型的加速版本,仅需 4 步即可生成高质量图像,速度更快。

  • Stable Diffusion 3.5 Medium(将于 10 月 29 日发布):拥有 26 亿参数,针对消费级硬件进行了优化,可在 0.25 到 2 兆像素分辨率下表现出色。

这些模型在 Stability AI 社区许可下免费供商业和非商业使用。

模型下载地址

国内可以通过modelscope下载:Stable Diffusion 3.5 Large下载:https://modelscope.cn/models/AI-ModelScope/stable-diffusion-3.5-large/resolve/master/sd3.5_large.safetensors

Stable Diffusion 3.5 Large Turbo下载:https://modelscope.cn/models/AI-ModelScope/stable-diffusion-3.5-large-turbo/resolve/master/sd3.5_large_turbo.safetensors

也可以在 Hugging Face 上下载:Stable Diffusion 3.5 Large下载:https://huggingface.co/stabilityai/stable-diffusion-3.5-large

Stable Diffusion 3.5 Large Turbo下载:https://huggingface.co/stabilityai/stable-diffusion-3.5-large-turbo
这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

模型特点

Stable Diffusion 3.5 在以下几个方面表现出色,成为市场上最具可定制性和可访问性的图像模型之一,同时在提示词响应和图像质量方面保持了顶尖水平:

  1. 可定制性:可以轻松微调模型以满足您的特定创作需求,或基于定制化工作流构建应用程序。

  2. 高效性能:经过优化,能够在标准消费级硬件上运行,尤其是 Stable Diffusion 3.5 Medium 和 Stable Diffusion 3.5 Large Turbo 模型。

  3. 多样化输出:无需复杂提示词,即可生成代表不同肤色和特征的图像,涵盖全球多样性。

  4. 多样风格:支持生成多种风格和美学,如 3D、摄影、绘画、线条画及几乎任何视觉风格。

此外,分析表明,Stable Diffusion 3.5 Large 在提示词响应性方面领先市场,并在图像质量上媲美更大规模的模型。Stable Diffusion 3.5 Large Turbo 在同类模型中具有最快的推理时间,同时在图像质量和提示词响应性方面仍具竞争力,即便与未精简的同类大小模型相比也是如此。

Stable Diffusion 3.5 Medium 超越了其他中型模型,在提示词响应性和图像质量方面表现出色,是高效、高质量表现的首选。

下图是官方提供的模型对比,可以看出其在提示词方面是效果最好的,但是美学方面不如Flux。

在ComfyUI中的使用

工作流截图

工作流下载地址猫目社区:https://maomu.com/workflow/DFVH8NiYXe

在ComfyUI中的使用步骤

第一步:先将ComfyUI更新到最新版本;第二步:将Stable Diffusion 3.5 Large或者Stable Diffusion 3.5 Large Turbo下载到ComfyUI\models\checkpoints 目录下;

以下是官方提供的工作流和模型:https://huggingface.co/stabilityai/stable-diffusion-3.5-large/tree/main在这里插入图片描述

第三步:加载 Clip 模型,将将clip_g.safetensorsclip_l.safetensorst5xxl_fp16.safetensors下载到 ComfyUI\models\clip 目录下,(如果之前有下载过的,就不用再次下载)

以下是官方提供的 Clip 模型:https://huggingface.co/stabilityai/stable-diffusion-3.5-large/tree/main/text_encoders第四步:将工作流拖入ComfyUI中,如果有缺失的节点那就进行安装。

低内存解决方案

如果在生图的过程中崩溃,可能是内存不足,可以通过以下方法解决:

工作流和模型下载地址:https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/tree/main

在这里插入图片描述

出图测试:

为了全面比较 FLUX 和 Stable Diffusion 3.5 的出图效果,我们可以比较它们在风格、细节、色彩和构图等方面的差异。覆盖不同风格的提示词,涵盖了写实、插画、3D建模等风格。

写实风格

提示词:A highly detailed, ultra-realistic portrait of a young woman, smooth skin, morning light, deep eyes 中文:高度详细、超现实的年轻女子肖像,光滑的皮肤,晨光,深邃的眼睛

插画风格

提示词:A vibrant and colorful fantasy landscape with towering castles, dragons flying in the sky, and magical creatures in the foreground, in the style of a digital painting 中文:充满活力、色彩缤纷的奇幻景观,有高耸的城堡、飞翔的巨龙、前景中的神奇生物,具有数字绘画的风格

3D 渲染风格

提示词:A highly detailed 3D render of a futuristic city at night, with glowing neon lights, flying cars, and tall skyscrapers, cyberpunk aesthetic. 中文:高度详细的 3D 渲染未来城市的夜晚,闪烁的霓虹灯、飞行的汽车和高耸的摩天大楼,赛博朋克美学。

漫画风格

提示词:A dynamic action scene of a superhero flying through the city, with exaggerated expressions, bold lines, and vibrant comic book colors. 中文:超级英雄飞越城市的动态动作场景,夸张的表情、大胆的线条、充满活力的漫画色彩。

在这里插入图片描述

复古风格

提示词:A sepia-toned, 1920s vintage photograph of a couple dancing in an elegant ballroom, with antique decor and dim lighting. 中文:一张深褐色色调的 1920 年代复古照片,照片上是一对情侣在优雅的舞厅跳舞,舞厅拥有古色古香的装饰和昏暗的灯光

极简风格

提示词:A minimalist black and white abstract line art of a cat, clean lines and simple shapes. 中文:一只猫的简约黑白抽象线条艺术,干净的线条和简单的形状

以上效果都是第一次生图的效果。

结语

最后期待官方出的 Stable Diffusion 3.5 Medium和相关的sd3.5 ControlNet模型。


这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

### Stable Diffusion 3.5 Flux 使用指南及相关更新 #### 关于Stable Diffusion 3.5 Flux Stable Diffusion 3.5 Flux 是基于Stable Diffusion 3.5的一个特定分支或变体,通常用于增强某些特定场景下的性能表现。尽管官方文档并未明确提及Flux的具体定义[^1],但从社区反馈来看,Flux可能代表了一种优化后的配置或者针对高性能计算环境设计的改进版本。 在实际应用中,如果已经熟悉MidJourney或其他类似工具,则迁移到SD 3.5 Flux并不会带来显著差异;然而其更高的性价比以及更灵活的操作方式使其成为许多用户的首选[^2]。 #### 部署与安装指导 为了成功部署并使用Stable Diffusion 3.5 Flux模型,请按照如下说明操作: 1. **获取模型文件** 下载名为`sd3.5_large.safetensors`的预训练权重文件,并将其放置于指定路径下(例如:`ComfyUI/models/checkpoints/`)。此步骤确保了软件能够加载正确的参数集来执行预测任务[^3]。 2. **调整硬件设置** SD 3.5系列特别强调对本地化支持进行了多项改良——不仅提高了处理效率而且降低了最低需求门槛。即使是在资源有限的情况下也有可能实现接近实时的效果渲染[^4]。 3. **测试生成能力** 利用内置脚本尝试创建几张样图以验证整个流程是否正常工作。注意观察最终产物的质量水平及其细节呈现程度如何满足预期目标。 ```python from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch model_id = "./path/to/sd3.5_large" scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler") pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler, torch_dtype=torch.float16).to("cuda") prompt = "A beautiful landscape painting with mountains and rivers under golden sunlight." image = pipe(prompt).images[0] image.save("./output_image.png") ``` 上述代码片段展示了如何通过Python接口调用已准备好的模型实例完成一次简单的图文转换过程。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值