大家好,我是程序员晓晓。
Stable Diffusion WebUI Forge 是一个基于 Stable Diffusion WebUI的平台,相当于是一个升级版本。“Forge”这个名字的灵感来自于“Minecraft Forge”。其旨在成为 Stable Diffusion WebUI 的 Forge。
使用Stable Diffusion WebUI Forge可以大大地简化开发、提供了预安装的扩展、优化了资源管理,更快的图像生成速度。
Stable Diffusion Forge Web UI 整合包可看文末扫描获取
一. 与原始 WebUI比较
1. 与原始WebUI的对比(针对图片1024大小的SDXL)
(1)对于常见 GPU(显存为8GB),推断速度(it/s)预计将提高约 30~45%,GPU 内存使用峰值将减少约 700MB 至 1.3GB,最大扩散分辨率(避免内存溢出 OOM)预计将提升 2 至 3 倍,最大扩散批量大小(避免 OOM)预计将提升 4 至 6 倍。
(2)对于较弱 GPU(显存为 6GB),推断速度(it/s)预计将提高约 60~75%,GPU 内存使用峰值将减少约 800MB 至 1.5GB,最大扩散分辨率(避免 OOM)预计将提升约 3 倍,最大扩散批量大小(避免 OOM)预计将提升约 4 倍。
(3)对于拥有像4090显存为24GB高性能 GPU,推断速度(it/s)预计将提高约 3~6%,GPU 内存使用峰值将减少约 1GB 至 1.4GB,最大扩散分辨率(避免 OOM)预计将提升约 1.6 倍,最大扩散批量大小(避免 OOM)预计将提升约 2 倍。
(4)若使用 ControlNet for SDXL,不会出现 OOM 的最大 ControlNet 数量预计将增加约 2 倍,配合 SDXL+ControlNet 使用时的速度将加快约 30~45%。
总结:6GB显存的速度预计可提高 75%,8GB显存 的速度可提高 45%,24GB显存 的速度可提高 6%。
2. 测试实例
下面的测试实例来自官网,作者使用带有SDXL的8GB VRAM(3070ti 笔记本电脑)的典型结果。
原始Web UI
GPU内存平均约7.4GB/8GB,峰值约7.9GB/8GB
WebUI Forge:
GPU内存平均和峰值均为6.3GB/8GB。
从上面的对比中,固定图片的随机数种子,生成的图片效果是一样的。我们从中可以看到:Forge 不会更改 WebUI生成结果。安装 Forge 并不是一个重大改变。您之前的所有图片作品仍然可以在 Forge 中使用!
二. 更好的后端
Forge 后端删除了所有与资源管理相关的 WebUI 代码并重新设计了所有内容。所有以前的 CMD 标志,如 medvram, lowvram, medvram-sdxl, precision full, no half, no half vae, attention_xxx, upcast unet ,…都被删除。添加这些标志不会导致错误,但它们现在不会执行任何操作。
没有任何 cmd 标志,Forge 可以运行具有 4GB显存 的 SDXL 和具有 2GB显存的 SD1.5。
Forge 不建议用户使用任何 cmd 标志,除非非常确定确实需要某些特殊标志作为参数设置。
三. Unet Patcher(补丁程序)
Forge 带来的另一个非常重要的变化是 Unet Patcher(补丁程序)。使用 Unet Patcher,Self-Attention Guidance、Kohya High Res Fix、FreeU、StyleAlign、Hypertile 等方法都可以在大约 100 行代码中实现插件扩展。这对开发者来说也是一大福利,ControlNets终于可以被不同的扩展调用。
实现SVD
可以通过代码实现自动装载/卸载任何模型。例如打开WEBUI,加载SDXL,生成图像,然后转到SVD,然后生成图像帧。同时可以看到 GPU 内存得到了完美的管理,SDXL 移至 RAM,然后 SVD 移至 GPU。整个过程管理全自动化,这使得编写扩展变得非常简单。
实现Z123(图片生成3D模型)
下面是一个通过代码实现简单的插件扩展后的界面。
四. 新特性
1. 预装的新功能
Forge修改后的Unet预装了许多功能。包括 SVD、Z123、masked Ip-adapter、masked controlnet、photomaker 等。
Masked Ip-Adapter
Masked ControlNet
PhotoMaker
Marigold Depth
2. 新采样器
Forge 还添加了一些采样器,主要包括以下几种
-
DDPM
-
DDPM Karras
-
DPM++ 2M Turbo
-
DPM++ 2M SDE Turbo
-
LCM Karras
-
Euler A Turbo
好了,今天的分享就到这里了,希望今天分享的内容对大家有所帮助。
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
![](https://i-blog.csdnimg.cn/blog_migrate/9a794b8e6e8a31d4a70520d42915e4ec.png)