因为多模态模型对计算机硬件GPU要求高,BizyAir定位是可以在任何环境中运行Comfy节点。本质是把部分节点放在云端执行返回结果。如果能把耗时耗GPU节点放在云端加速好,这也是非常不错的。
一.BizyAir节点安装和设置
1.节点安装
2.设置API Key
说明:最新版本已经支持通过api_key.ini文件配置。
3.查看BizyAir节点
二.bizyair_controlnet_union_workflow.json工作流节点
1.BizyAir Generate Photorealistic Images
该节点可以通过非常简单的提示帮助您生成照片风格的图像。
2.BizyAir Depth Anything V2 - Relative
DepthAnythingV2Preprocessor 是一款功能强大的工具,旨在估计图像中的深度信息,使其成为处理 3D 建模、增强现实和其他需要深度感知的应用程序的 AI 艺术家的重要组件。该节点利用先进的机器学习模型来生成深度图,可用于理解场景的空间结构。通过提供详细的深度估计,它可以增强项目的真实性和准确性,从而实现更复杂和身临其境的视觉体验。该节点对于需要精确深度信息的任务特别有用,例如对象检测、场景重建和虚拟环境创建。
3.BizyAir SiliconCloud LLM API
该节点是一个基于云的 AI 助手,它提供了一组 API 来帮助您构建对话界面。该节点提供五个大型语言模型,其中包括两个完全免费的模型。默认系统提示是为了增强提示设置而设计的。您还可以自由地为特定任务设置其他系统提示。
4.BizyAir Controlnet Union SDXL 1.0
集成了项目 controlnet-union-sdxl-1.0 。通过此节点可以使用各种控件类型生成图像。结合BizyAir已经提供的controlnet预处理器,无需准备模型和环境;可以直接执行图像到图像生成等任务。
三.bizyair_controlnet_union_workflow.json工作流内容
该 bizyair_controlnet_union_workflow.json
文件是一个配置或定义文件,用于在图形编程或基于节点的处理环境中定义一个工作流。此文件详细定义了一系列节点、它们的类型、位置、大小、输入、输出及其他属性,以及这些节点之间的连接(链接)。以下是其结构和关键组件的详细解释。
1.**last_node_id
**和 last_link_id
这些字段可能用于跟踪工作流中最后创建的节点和链接的ID,确保新的节点或链接可以被分配唯一的ID。
2.nodes
这个数组列出了工作流中的所有节点。每个节点有几个属性:
-
id
:节点的唯一标识符。 -
type
:节点的类型,指示其功能(例如,PreviewImage
、StableDiffusionXLControlNetUnionPipeline
、BizyAirDepthAnythingV2Preprocessor
等)。 -
pos
:节点在工作流图形界面中的位置。 -
size
:节点在界面中表示的大小。 -
flags
:节点特定的附加设置或标志。 -
order
:可能是节点处理的顺序或它们在UI中的z-index。 -
mode
:可能指示节点的操作模式或状态。 -
inputs
和outputs
:定义节点的数据输入和输出,包括类型和与其他节点的连接。 -
properties
:节点的自定义属性,如特定于其类型的名称或设置。 -
widgets_values
:节点的特定设置或参数,可能与其配置或操作相关。
3.links
这个数组定义了节点之间的连接,指定哪些输出连接到哪些输入。每个链接都有源节点和目标节点的ID,被传输的数据类型,以及可能使用的特定输入和输出槽。
4.groups
虽然在此示例中为空,但此字段可能用于定义节点组以便于组织。
5.config
在此示例中为一个空对象,可能用于工作流的全局配置设置。
6.extra
包含额外的,可能是工作流范围内的设置或元数据。在这个案例中,它包括与工作流在图形界面中的显示比例和偏移量相关的设置。
7.version
指示工作流或文件格式的版本。
此文件通过可视化地表示复杂的工作流,允许定义处理步骤(节点)、它们的配置以及数据之间的流动。它可能被特定的应用程序或框架使用,以解释这个结构来执行一系列操作,可能与图像处理或机器学习任务相关,鉴于节点类型如StableDiffusionXLControlNetUnionPipeline
和BizyAirDepthAnythingV2Preprocessor
。
参考文献
[1] BizyAir Nodes:https://bizyair.siliconflow.cn/others/index.html
[2] BizyAir examples:https://github.com/siliconflow/BizyAir/tree/master/examples
[3] bizyair github:https://github.com/siliconflow/bizyair
[4] Kolors-IP-Adapter-Plus:https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-Plus/tree/main0
[5] 快速上手bizyair:https://docs.siliconflow.cn/docs/get-started-to-bizyair
[6] OneDiff GitHub:https://github.com/siliconflow/onediff/wiki
[7] BizyAir云节点上线ControlNet Union:十多种图像输入控制,一个模型就够了:https://mp.weixin.qq.com/s/RtjVZ4aajv4AJYeBSHlBJw
[8] bizyair_controlnet_union_workflow.json:https://github.com/siliconflow/BizyAir/blob/master/examples/bizyair_controlnet_union_workflow.json
[9] Stable Diffusion XL优化终极指南:https://mp.weixin.qq.com/s/IW4ySm9g3-ICDzahWC7uhQ
[10] 硅基流动开源ComfyUI节点:没有GPU也能跑可图Kolors:https://mp.weixin.qq.com/s/Nprfsl11lCqHjUWA4trdhg
[11] Kolors:https://huggingface.co/Kwai-Kolors/Kolors
[12] ComfyUI_examples:https://github.com/comfyanonymous/ComfyUI_examples/tree/master
[13] ComfyUI Nodes Info:https://ltdrdata.github.io/