前提条件,安装Dify1.0以上并可正常使用,安装ComfyUI并安装hunyuan-DIT、FLUX等模型可正常使用,知道ComfyUI地址及端口,本机调用一般为http://127.0.0.1:8188。
该方法适用与flux、SD35等使用正、负面两分离式clip的工作流。
一、创建chatflow工作流
1、打开Dify,找到工作室,点击创建空白应用
2、选择chatflow,填入名称及描述(可选)
3、在默认节点基础上增加“参数提取器节点”
4、再添加ComfyUI工作流节点。首次加载Comfy需配置授权,本地一般为:http://127.0.0.1:8188
5、完整工作量连接如下
二、配置chatflow工作流
1、双击LLM节点,将LLM改名为“提示词生成器”,输入如下提示词。
prompt_template = """
请根据用户输入需求内容,完善图像生成需求的包含风格/构图/细节等正面提示词和需要排除元素等负面提示词,同时请用英文按以下JSON格式响应:
{
"yes_prompt": "",
"no_prompt": ""
}
用户输入:{{input}}
"""
2、打开参数提取器,选择输入变量,增加需提取的yes_prompt、no_prompt参数(添加方法如下),并在提示词中填写:从json提取相关参数。
3、配置comfyUI工作流,在正面和负面提示词分别选择参数提取器的变量yes_prompt、no_prompt
4、导出并复制ComfyUI工作流:打开comfyUI系统,点选需要的工作流,选择导出到api,然后打开导出的json文件内容,选择复制
5、配置ComfyUI工作流的的workflow json:回到ComfyUI工作流,将复制的内容填入到workflow json中。
6、配置直接回复,如下图:如不需要思考过程及生成的正、负面提示词,只保留最后一行就行。
7、完成后如下图
三、测试工作流
- 输入“飞流直下三千尺”发送后得到一副国画
2、输入“西塞山前白鹭飞”
四、导出工作流
1、工作流导出在工作室找到该工作流,点击右下角三个小点,选择导出DSL,可进行流程导出。