dify api调用

最新推荐文章于 2025-03-14 13:08:01 发布

程序员鑫港

最新推荐文章于 2025-03-14 13:08:01 发布

阅读量3.5k

点赞数 11

文章标签： langchain 数据库人工智能 AI 大模型 Dify API

本文链接：https://blog.csdn.net/a2875254060/article/details/146200753

版权

什么是Dify

Dify 是一个开源的大语言模型（LLM）应用开发平台，旨在简化和加速生成式 AI 应用的创建和部署。它结合了后端即服务（Backend as Service, BaaS）和 LLMOps 的理念，为开发者提供了一个用户友好的界面和一系列强大的工具。Dify 支持多种大型语言模型，如 Claude3、OpenAI 等，并与多个模型供应商合作，确保开发者可以根据需求选择最适合的模型。

Dify 的核心功能包括：

低代码/无代码开发：通过可视化的方式允许开发者轻松定义 Prompt、上下文和插件等，无需深入底层技术细节。
模块化设计：每个模块都有清晰的功能和接口，开发者可以根据需求选择性地使用这些模块来构建自己的 AI 应用。
丰富的功能组件：包括 AI 工作流、RAG 管道、Agent、模型管理等，帮助开发者从原型到生产的全过程。
全面的模型支持：无缝集成了数百种来自数十个推理提供商和自托管解决方案的专有/开源大型语言模型。

Dify 适用于多种场景，包括创业、将 LLM 集成至已有业务、作为企业级 LLM 基础设施，以及探索 LLM 的能力边界。

架构

功能比较

本地化部署 Dify 社区版

https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose

要在本地进行 Dify 的私有化部署并接入本地大模型，可以参考官方的链接。

私有化部署 Dify

系统要求：

CPU：至少 2 核心
RAM：至少 4GB

克隆 Dify 源代码：
打开终端或命令提示符，输入以下命令克隆 Dify 的源代码：

git clone https://github.com/langgenius/dify.git  
cd dify/docker  
cp .env.example .env

启动 Dify：
使用 Docker Compose 一键启动 Dify：

docker compose up -d

启动成功后，Dify 会运行多个容器，包括业务服务和基础组件。

访问 Dify 应用：
由于 Dify 使用 Nginx 将 Web 服务转发到 80 端口，因此可以在浏览器中输入公网 IP 地址访问 Dify 应用。

接入本地大模型

使用 LocalAI 部署本地模型

部署 LocalAI：

克隆 LocalAI 代码仓库并进入指定目录：

git clone https://github.com/go-skynet/LocalAI  
cd LocalAI/examples/langchain-chroma

- 下载示例模型：

wget https://huggingface.co/skeskinen/ggml/resolve/main/all-MiniLM-L6-v2/ggml-model-q4_0.bin -O models/bert  
wget https://gpt4all.io/models/ggml-gpt4all-j.bin -O models/ggml-gpt4all-j

- 配置 `.env` 文件，并启动 LocalAI：

docker-compose up -d --build

在 Dify 中接入 LocalAI：

模型名称：gpt-3.5-turbo
服务器 URL：http://127.0.0.1:8080（如果是 Docker 部署，使用宿主机 IP 地址）。
登录 Dify 应用，进入“设置” > “模型供应商” > “LocalAI”。
填写模型信息，例如：

使用 Ollama 部署本地模型（推荐）

下载并安装 Ollama：
访问 Ollama 官网下载对应系统的客户端。
运行 Ollama：
在终端中运行 Ollama 并启动 API 服务：

ollama run llava

Ollama 会在本地 11434 端口启动一个 API 服务。

在 Dify 中接入 Ollama：

模型名称：llava
基础 URL：http://127.0.0.1:11434（如果是 Docker 部署，使用局域网 IP 地址）。
登录 Dify 应用，进入“设置” > “模型供应商” > “Ollama”。
填写模型信息，例如：

通过以上步骤，你可以在本地私有化部署 Dify 并接入本地大模型，从而实现更灵活和安全的 AI 应用开发和部署。

本地化API调用

私有化部署dify后，如何本地API调用呢，这里我们给出一个demo

在私有化部署 Dify 后，可以通过以下步骤进行本地 API 调用：

获取 API 密钥

登录 Dify 应用的后台管理界面。
在应用设置中找到并复制应用的 API 密钥（API Key）。

配置 API URL

确认 Dify 的 API 服务端口。默认情况下，Dify 的 API 服务可能通过 Nginx 转发到 80 端口，如果没有修改过端口，则直接使用 http://localhost 或者 http://<your-server-ip> 作为 API URL。如果修改了端口，例如使用了 81 端口，则 URL 应为 http://localhost:81。

发送 API 请求

以下是一个使用 Python 发送 API 请求的示例代码，假设您要调用聊天消息 API：

import requests  
import json  
  
# API请求的URL，注意替换为你的实际端口号（如未修改端口，默认不需要加端口号）  
url = 'http://localhost/v1/chat-messages'  
  
# 应用密钥  
api_key = "your-api-key"  
  
# 请求头  
headers = {  
    'Authorization': f'Bearer {api_key}',  
    'Content-Type': 'application/json',  
}  
  
# 请求数据  
data = {  
    "inputs": {},  
    "query": "What are the specs of the iPhone 13 Pro Max?",  
    "response_mode": "blocking",  
    "conversation_id": "",  
    "user": "abc-123"  
}  
  
# 发送POST请求  
response = requests.post(url, headers=headers, data=json.dumps(data))  
  
# 处理响应  
if response.status_code == 200:  
    print(response.json())  
else:  
    print(f"Error: {response.status_code}, {response.text}")

请将 your-api-key 替换为实际的 API 密钥，并根据需要调整 URL 和请求数据。