ComfyUI又整活了，这次是街景实时重绘！效果令人震惊。

最新推荐文章于 2025-02-26 15:44:46 发布

AI绘画咪酱

最新推荐文章于 2025-02-26 15:44:46 发布

阅读量761

点赞数 17

文章标签：人工智能 stable diffusion AIGC

本文链接：https://blog.csdn.net/2401_84760322/article/details/141387583

版权

前言

ComfyUI是一个基于节点的图形用户界面（GUI），用于Stable Diffusion。它提供了一个直观而易于使用的界面，让用户能够以节点的方式构建和调整图像生成流程。

ComfyUI的开发灵感来自于其他流行的节点编辑器，如Unreal Blueprints、Unity Shader Graph、Substance Designer和Blender Shader Editor。这些节点编辑器在游戏开发和图像处理领域广泛使用，它们使得用户能够通过连接各种节点来创建复杂的逻辑和效果。基于这种概念，ComfyUI旨在为Stable Diffusion提供一个类似的工具，使用户能够以直观的方式构建和控制图像生成过程。

通过ComfyUI，用户可以选择和连接各种节点，每个节点代表一个图像处理操作或算法。例如，用户可以添加输入节点来导入图像，添加滤镜节点来调整图像的颜色和效果，添加合成节点来组合多个图像等等。用户可以通过简单地连接节点之间的输入和输出端口来定义图像处理流程，并实时预览生成的图像。

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~

与SD webui 相比的优缺点

优点：

节点编辑器：ComfyUI采用了节点编辑器的概念，这对于熟悉节点编辑器的用户来说非常友好。你可以通过连接各种节点来构建复杂的图像处理流程，使得图像生成过程更加灵活和可控。
游戏开发经验：如果你在游戏开发中使用过节点编辑器（如Unreal Blueprints、Unity Shader Graph等），那么使用ComfyUI将会非常自然。你可以利用自己的经验和技能来加快图像生成的速度和效率。

缺点：

学习曲线：相对于Stable Diffusion Web UI的自动化界面，ComfyUI可能需要一些学习和适应的时间。如果你之前没有使用过节点编辑器，可能需要一些时间来熟悉其操作和工作原理。
可见性限制：尽管ComfyUI提供了直观的图像生成界面，但它可能无法提供与Stable Diffusion Web UI一样的实时预览和详细信息。这意味着你可能无法完全了解底层的图像处理过程，无法精确地调整参数和优化结果。

本文案例的视频效果

根据 Google 地图位置，我在肯定提示中添加国家或城市名称（例如日本、纽约、巴黎等）。我使用 toyxyz 的自定义网络摄像头节点捕获屏幕的一部分，并将输出插入 ControlNet canny 模型。

本地部署时rtx3090、rtx3080都是可以运行的。

本文案例的工作流

工作流程嵌入在 PNGinfo 标头中的所有 ComfyUI 输出文件中。您只需将输出 PNG 文件拖放到 ComfyUI 中，它就会在生成时加载包含所有参数的整个工作流程。

如果你需要json格式的工作流，可以公众号回复：“街景重绘”，将自动回复你json文件的下载地址。

工作流如下：

配置参数如下：

注

Checkpoint model: meinamix_meinaV11(https://civitai.com/models/7240/meinamix)
Positive Prompt: day, noon, (blue sky:1.0), clear sky
Negative Prompt: (worst quality, low quality:1.4), (zombie, sketch, interlocked fingers, comic)
Resolution: 768 x 512
ControlNet model: control_vllp_sd15_canny.pth(https://huggingface.co/lllyasviel/ControlNet-v1-1/blob/main/control_v11p_sd15_canny.pth)

KSampler参数:

{`  `seed: 1`  `control_after_generate: fixed`  `steps: 15`  `cfg: 4.0`  `sampler_name: euler_ancestral`  `scheduler: normal`  `denoise: 1.00``}

对工具选择

注：

您可能会问，“为什么不像 toyxyz 示例中的工作流程那样使用 LCM-LoRA？”
作者指出：“我尝试了一下，但最终的图像看起来与网络摄像头捕获的图像太相似。我希望它更有创意，修改提示并不能完全给我我想要的结果。”

可以进一步优化并产生更好更快的生成。也许可以使用 StreamDiffusion、TouchDesigner 或基于 SDXL-Lightning 的模型。查看 Félix Sanz 关于 SDXL-Lightning 比较和优化稳定扩散 XL 的文章。

其他核心节点

哪些节点可以进行实时图像输入?本例使用的是

ComfyUI_toyxyz_test_nodes

这个节点是将网络摄像头/屏幕实时发送到 ComfyUI

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》，相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友，可以点击下方免费领取！

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去，那么我的使命也就完成了：
在这里插入图片描述

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合，通过使用AIGC工具库，能更加快速，准确的辅助我们学习AIGC
在这里插入图片描述

有需要的朋友，可以点击下方卡片免费领取！

精品AIGC学习书籍手册

书籍阅读永不过时，阅读AIGC经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验，结合自身案例融会贯通。

在这里插入图片描述

AI绘画视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，科学有趣才能更方便的学习下去。

在这里插入图片描述