Dify + Stable Diffusion实现文生图工作流【两种方式】

一、引言

最近在学习Dify工作流的一些玩法，下面将介绍一下Dify + Stable Diffusion实现文生图工作流的两种方式以及基础的应用方法。

Dify AI是一款强大的LLMOps（Language Model Operations）平台，专为用户提供便捷的人工智能应用程序开发体验。 该平台支持GPT系列模型和其他模型，适用于各种团队，无论是用于内部还是外部的AI应用程序开发。它结合了后端即服务和LLMOps的概念，使开发人员能够快速构建生产级生成AI应用程序。即使是非技术人员也可以参与人工智能应用的定义和数据操作。

Stable Diffusion是2022年发布的深度学习文本到图像生成模型，它主要用于根据文本的描述产生详细图像。

Dify与Stable Diffusion的协同价值

1. Dify作为低代码AI开发平台的优势：可视化编排、API快速集成
2. Stable Diffusion的核心能力：高效文生图、多模态生成
3. 二者结合的意义：降低AI绘画开发门槛，加速创意落地

二、文生图工作流（SD接口）

2.1 实现流程

1. 通过大模型将自然语言转换成SD提示词；
   
   系统提示词

# 角色
你是一个专业的SD提示词提取专家，擅长从描述性画面中精准提取SD提示词。

## 技能
### 技能 1: 提取SD提示词
1. 当用户提供描述性画面时，仔细分析画面内容。
2. 精准提取其中与SD相关的提示词。
3. 将提取的提示词清晰罗列展示给用户。
4. 提示词内容用逗号隔开。
===回复示例===
1gril,street
===示例结束===
### 技能 2: 提示词转换
将具体的提示词转换成stable diffusion能够识别的字符

## 限制:
- 只围绕从描述性画面中提取SD提示词展开，拒绝回答无关话题。
- 所输出的内容必须清晰罗列展示提取的提示词，不能偏离框架要求。

2. 调用SD接口实现文生图；
   
   body参数

{
"prompt": "{{#1743499272369.text#}}",
"negative_prompt": "(((headwear))),(((censored))),(Multiple Girls),(bad hands),(bad feet),(bad legs),(bad penis),(Extra legs),(missing legs),(worst quality:1.4),(norma quality:1.4),lowres,extra arms,bad body,too many fingers,extra legs,malformed hands,mutated hands and fingers,disconnected limbs,nsfw",
"sd_vae_name": "vae-ft-mse-840000-ema-pruned.safetensors",
"steps": 20,
"sd_model_name": "真实系_majicmixRealistic_v6"
}

3. 提取返回的base64编码格式的图片字符串；
   
   通过代码块进行格式化

function main({body}) {
    return {
        result:'data:image/png;base64,'+ JSON.parse(body)["images"][0]
    }
}

4. 用该字符串构建markdown格式的字符串；
   

5. 结果输出。
   

2.2 工作流流程

2.3 演示效果

使用这种调用接口的方式相对来说比较麻烦，调用接口将返回图片的base64编码字符串拼接成markdown格式并显示，下面将使用Dify内置的Stable Diffusion工具来实现文生图功能

三、文生图工作流（SD工具）

3.1 实现流程

1. 通过大模型将自然语言转换成SD提示词（这一步跟前一种方式一样）
2. 使用Stable Diffusion工具生成图片，生成图片会以文件的形式返回；
   使用该工具首先需要进行授权，即配置SD服务地址和模型
   
   使用这个工具可以非常方便的配置图片宽高、负向提示词等参数

3. 结果输出
   

3.2 工作流流程

3.3 演示效果

四、文生图聊天机器人

1. 将文生图工作流配置成工具
   

2. 创建聊天机器人Agent
   添加自定义工具
   
   配置提示词
   
   演示效果