Dify+谷歌翻译 使用中文提示词实现本地文生图

本文讲述如何使用 Dify + Stable Diffusion Web UI 配合谷歌翻译实现使用中文提示词进行本地图片生成。

文章主要内容：

• StableDiffusion WebUI 安装踩坑

• Dify 安装使用

• Dify 集成 Stable Diffusion WebUI 聊天生成图片

Stable Diffusion WebUI 安装

首先是 Stable Diffusion WebUI[1] 的安装， AUTOMATIC1111 / stable-diffusion-webui 这个项目提供了各个平台的安装脚本，但是由于他的脚本使用了 venv 本地创建了一个 Python 虚拟环境，加之网络、证书等问题，还是出现了不少波折。

苹果芯片

我使用了 MacOS 系统（苹果的芯片），貌似比 Windows\Linux 复杂些，作者专门写了个页面来说明：

《Installation on Apple Silicon》[2]

基础库安装

安装一些 SD WebUI 环境需要的一些基础库

brew install cmake protobuf rust python@3.10 wget

代码库下载

下载代码：

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

然后进入目录：

cd stable-diffusion-webui

然后执行 ./webui.sh 命令就好了。

执行过程中遇到了些问题，可能少部分人也会遇到。

Pip ssl certificate error

在 SD WebUI 自己创建的环境中，执行 pip install 的时候说证书错误。

WARNING: Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by ‘SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:997)’))’: /simple/torch/ Could not fetch URL https://pypi.org/simple/torch/[3]: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host=‘pypi.org’, port=443): Max retries exceeded with url: /simple/torch/ (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:997)’))) - skipping

对于这个问题最简单的方案是让 pip 信任对应的站点。

可以修改 webui-macos-env.sh 文件，

增加 pip install 参数:

• --trusted-host pypi.org

• --trusted-host files.pythonhosted.org

修改后的命令如下：

export TORCH_COMMAND="pip install --trusted-host pypi.org --trusted-host files.pythonhosted.org torch==2.3.1 torchvision==0.18.1"

好处是执行 pytorch 安装成功了，不好的是还有别的安装失败了。

Github 网络问题

WebUI 安装 clip 等包的时候要从 Github 上下载 Zip 包，网络的问题自然是下载失败了。

我的解决方案是，手动下载 Zip 包放到本地，然后修改环境变量：

export CLIP_PACKAGE="--trusted-host pypi.org --trusted-host files.pythonhosted.org  ~/Downloads/CLIP-d50d76daa670286dd6cacf3bcd80b5e4823fc8e1.zip"   export OPENCLIP_PACKAGE="--trusted-host pypi.org --trusted-host files.pythonhosted.org  ~/Downloads/open_clip-bb6e834e9c70d9c27d0dc3ecedeebeaeb1ffad6b.zip"

Pip 全局证书信任

后续其他包还有 SSL 证书不认的情况，我们可以把这个忽略SSL的指令加到全局。

执行 pip config list -v 查看 Pip 配置文件位置：

> pip config list -v   For variant 'global', will try loading '/Library/Application Support/pip/pip.conf'   For variant 'user', will try loading '/Users/shuyi/.pip/pip.conf'   For variant 'user', will try loading '/Users/shuyi/.config/pip/pip.conf'

我们修改 ~/pip/pip.conf 文件，信任这几个网址：

[global]   trusted-host = pypi.python.org                  pypi.org                  files.pythonhosted.org

Linux 和 Windows 也可以这样修改哈，文件位置是：

• Unix - $HOME/.config/pip/pip.conf

• Windows - %APPDATA%\pip\pip.ini

接下来再执行启动命令：

sh webui-macos-env.sh; sh webui.sh --no-half

系统会使用默认浏览器自动打开网址 http://127.0.0.1:7860/ ，可以看到熟悉的界面了：

我们让它来画一只猫，提示就是简单的 a cat：

API 模式运行

如果要让 Dify 调用 SD Web UI ，必须让 SD Web UI 以 API 监听的模式运行，增加 --api --listen 参数：

sh webui-macos-env.sh; sh webui.sh --api --listen --no-half

Dify 安装

Dify 支持本地源码运行、容器运行，之前使用源码运行，过了很长一段时间发现也没啥修改源码的地方，所以推荐搭建全部用 容器运行。

我们可以参考 Dify 容器部署文档[4] 来部署。

克隆项目

首先克隆项目：

git clone https://github.com/langgenius/dify.git

复制修改环境变量

进入目录复制 ENV 环境变量：

cd dify/docker   cp .env.example .env

如果要修改环境变量，可以修改 .env 文件，比如：

• 开启调试

• 服务端口

• 服务地址等等

启动 Dify 容器

使用 Compose 服务启动中间件和 Dify 服务：

docker compose up -d

可以看到一共有如下容器启动：

`[+] Running 11/11    ✔ Network docker_ssrf_proxy_network      ✔ Network docker_default                 ✔ Container docker-redis-1               ✔ Container docker-ssrf_proxy-1          ✔ Container docker-sandbox-1             ✔ Container docker-web-1                 ✔ Container docker-weaviate-1            ✔ Container docker-db-1                  ✔ Container docker-api-1                 ✔ Container docker-worker-1              ✔ Container docker-nginx-1`           

访问 Dify

启动成功， 访问 http://localhost，设置完用户密码，即可看到 Dify 的界面了：

Dify 端口号Dify Compose 默认端口是 80，如果希望使用别的端口运行，可以修改 .env 中的端口号NGINX_PORT=80。

更新项目

如果要更新 Dify，也很简单，停止容器、更新代码、重新启动即可。

cd dify/docker   docker compose down   git pull origin main   docker compose pull   docker compose up -d

集成 Stable Diffusion 工具

前面我们已经将 Stable Diffusion Web UI 使用 API 模式运行起来了，可以在 Dify 工具中直接配置即可。Dify 也提供了 SD 集成文档[5]，大家有兴趣可以查看。

点击 Dify 的工具Tools 页签，打开工具页面，搜索 stable，选择 Stable Diffusion：

Dify 选择 Stable Diffusion 工具

然后点击 To Authorize 按钮进行认证：

有两个参数 Base URL 和 Model：

由于 Dify 是在容器中运行，Base URL 不能填写 localhost，Docker 提供了主机名host.docker.internal 来代替宿主机地址。我们填写：

• http://host.docker.internal:7860

接下来是模型名称， 模型列表可以浏览器访问如下网址获得：

• http://127.0.0.1:7860/sdapi/v1/sd-models

格式化之后，可以清楚看到模型名称，

为了方便起见，我写个命令给大家获取模型名称，执行下面命令，

curl http://127.0.0.1:7860/sdapi/v1/sd-models | python -m json.tool | grep model_name

可以直接提取到模型名称：

挑选一个我们喜欢的 模型，填入即可，比如：

realisticVisionV20_v20

点击确定，可以看到认证成功：

Dify Stable Diffusion 工具认证成功

创建应用

接下来我们来创建应用：

• 点击 Studio 进入应用页面

• 点击 Create from Blank 创建一个空白应用

• 选择Chatbot 和 Chatflow

• 选择应用图标，填写应用名称

• 点击创建

从空白创建应用

在工作区中点击右键，选择添加块，

然后搜索选择 Stable Diffusion WebUI 工具：

Stable Diffusion WebUI 工具

把开始节点连接到 WebUI 工具：

开始节点连接到 WebUI 工具

点击 WebUI 工具进行设置，Prompt 输入框输入 / 可以选择变量，我们选择 sys.query 作为提示词：

sys.querysys.query 就是聊天时用户输入的提示词。每一个工具节点都有相应的输入和输出，会在变量列表中分类显示。

为了快速验证，我们把图片的 宽度和高度 都改成 512，这样绘图的时间不会太长。

然后选择默认生成的 LLM 节点，按 DEL 键删掉，查新连线如下图：

选中最后一个 「回答」 节点，设置回答内容内 files：

选择 SD WebUI 文件输出

点击预览按钮进行测试，在聊天输入框中输入 a tiger 发送消息， 过一会可以看到 应用返回了一张老虎图片：

测试提示词绘画功能

翻译

同样的方法，我们在画布右击，选择 谷歌翻译 这个工具，添加到画布上：

添加翻译工具

重新连线如下：

设置翻译工具的内容为 sys.query，目标语言为 English，

调整 Stable diffusion WebUI 工具的提示词为 Translate / {x} text：

下面我们写一个复杂一些的提示：

一大群人举着巴勒斯坦旗帜和气球，自由巴勒斯坦，

应用也给出了可用的图片：

通过翻译正常生成图片

翻译的必要性

前面我没有讲到绘画时翻译的必要性。

Stable Diffusion 是可以理解简单的中文的，但是仅仅限于简单简单的词语，比如一只猫，老虎 等单个词语，

如果是一个句子，Stable Diffusion 就理解不了，比如我们上面的那句话，如果直接发送给 SD，结果可能很随机：

中文提示词效果不佳

所以使用 Stable Diffusion 还是要英文提示词，所以我们在英文不好的时候，通过翻译自动翻译给 StableDiffusion 还是很有必要的。

翻译之后，虽然说不上多专业，但是一些普通的使用还是可以满足的。

发布

一切就绪，我们来发布应用。

点击发布按钮，在弹框中点击「发布」或「更新」即可：

发布应用

使用

我们点击 Explore 或者 Dify Logo 回到首页，都可以看到我们刚刚创建的应用：

浏览应用列表

点击应用然后开始聊天吧：

开始聊天

总结

Dify 提示了众多的工具让我们使用，我们可以通过流程编排来实现一些工具的串联， 这样的话如果没有额外逻辑我们就不需要编写代码了，可以节省很大工作量。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】