不过有小伙伴私信我问我,他的设备Medium也跑不动要咋办。虽然说Medium对设备要求比较宽松,大部分设备都能跑只是生成图片的快慢问题。
当然官方开发团队也考虑过一些设备可能跑不了Medium这个问题,所以ComfyOrg团队对SD3.5模型进行了额外的优化。
https://blog.comfy.org/sd-35-medium/
发布了Large和Medium模型对应的fp8精度量化模型,这个fp8(floating-point)简单说一下就是精度格式的一种,常见情况下一共有fp32、16和8三种。
在下载和使用例如checkpoint、controlnet等模型时默认都是fp32,因为fp32可以携带和储存的信息较多很适合用来训练模型。而fp32-fp16-fp8这样的数字越变越小代表着占用空间和运算速度的提升,当然对于以跑图为目标的日常用户来说fp8和fp16甚至fp32没有特别大的差别。
不是fp越大越好的,有fp16就用fp16,有fp8就用fp8。没有必要鼓吹模型越大越好,用一个b站评论来简单总结一下:
好了说回正题,这个ComfyOrg团队为了让低精度模型能够顺利在ComfyUI上运行,它们将三个文本编码器“打包”整合在了一起,变成了一个可以一体化加载的checkpoint。
当然这俩模型需要额外下载:
https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/tree/main
在下载好之后将文件放到这个路径:
ComfyUI(根目录)/models/checkpoints
然后就可以启动ComfyUI了,对应的ComfyUI工作流在文末的百度云链接也有大家可以自行下载。**
**
这里用的工作流是SD3.5量化模型工作流:
这里直接去模型加载节点选择好模型,这里不需要额外加载文本编码器。
然后在提示词中输入自己想要生成的东西(以下仅供参考):
Anime screencap,beautiful anime artwork, a digital illustration in an anima style, featuring a young girls in a serena,autumnal setting, the girl has light brown hair and large, expressive brown eyes, she is wearing a red hoodie and appears to be looking out of a wooden structure, possibly a cabin or a gazebo, with a wooden fence to the left,
之后点击生成就可以得到自己想要的图片啦,量化模型的占用估计可以节约大概4-6G的显存,生成速度也会快上20%左右。
当然,量化是以牺牲部分计算精度来换取效率的,所以FP8模型在生成质量上比原版的模型会有所下降,尤其是在提示词和文本内容复杂时会很明显。
当然有些小伙伴会觉得现在电脑还是有点运行不起来,还有一种方法可以降低显存使用,那就是使用转换为GGUF格式的量化模型。
https://github.com/city96/ComfyUI-GGUF
这个使用起来会麻烦一点,因为需要额外安装一些节点,不过这个就不在今天讲了,感兴趣的小伙伴可以私信告诉我,我再另开篇幅。
当然学到这里可能有小伙伴会想,既然这个SD3.5这么厉害,应该和前辈们一样不止能做文生图吧。
就在发布到现在一个月多一点的时间里,得益于ComfyUI的灵活,SD3.5模型已经可以完美融入到绝多数已有的工作流程里。
像是图生图:
这也就在普通的文生图流程上多了图片加载器和VAE编码器,就从文生图变成了图生图。
不过这里图生图的话推荐用Medium模型,然后调节降噪幅度,一般0.75即可。
除此之外例如局部重绘、扩图等都可以通过ComfyUI用SD3.5来达成。
如今在这个新的SD3.5版本中应该不会像之前一样出现夸张的人体结构变异,这正是因为SD3.5发布时的主图就是一个躺在草地上的人。
这似乎是在对观望的用户表明:这次的人体可有好好优化了。
无论是最顶的Large模型还是针对主流用户提供的极具性价比的Medium,还有开放的许可说明,无不表明着SD3.5欢迎所有用户参与建设这个新的大家庭。
在当初SD1.5刚出来的时候,生成的图片可都还没法看,而随着使用这个模型的人越来越多,ControlNet等技术的诞生代表着无限关于AI生图技术的可能性。
或许在未来的某一天Stable Diffusion 3.5将替代1.5给这个世界带来更多的惊喜。
生图过程可能遇到的问题
在使用Medium的过程中小伙伴们可能会碰到这样的一个报错:
Error when loading sd3_medium_incl_clips_t5xxlfp8.safetensors
这里可能的原因是文本编码器与TripleCLIIPLoader节点一起使用遇到了错误,这里可以尝试更新safetensors解决。
或者检查依赖项是否是最新版本,然后重新启动即可。
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】