AI“落地”系列 - Dify 本地化（部署&调用）

最新推荐文章于 2025-03-19 11:27:16 发布

Python编程杰哥

最新推荐文章于 2025-03-19 11:27:16 发布

阅读量4.1k

点赞数 28

文章标签：人工智能数据库音视频 excel 大数据

本文链接：https://blog.csdn.net/xx_nm98/article/details/145939879

版权

什么是Dify

Dify 是一个开源的大语言模型（LLM）应用开发平台，旨在简化和加速生成式 AI 应用的创建和部署。它结合了后端即服务（Backend as Service, BaaS）和 LLMOps 的理念，为开发者提供了一个用户友好的界面和一系列强大的工具。Dify 支持多种大型语言模型，如 Claude3、OpenAI 等，并与多个模型供应商合作，确保开发者可以根据需求选择最适合的模型。

Dify 的核心功能包括：

低代码/无代码开发：通过可视化的方式允许开发者轻松定义 Prompt、上下文和插件等，无需深入底层技术细节。
模块化设计：每个模块都有清晰的功能和接口，开发者可以根据需求选择性地使用这些模块来构建自己的 AI 应用。
丰富的功能组件：包括 AI 工作流、RAG 管道、Agent、模型管理等，帮助开发者从原型到生产的全过程。
全面的模型支持：无缝集成了数百种来自数十个推理提供商和自托管解决方案的专有/开源大型语言模型。

Dify 适用于多种场景，包括创业、将 LLM 集成至已有业务、作为企业级 LLM 基础设施，以及探索 LLM 的能力边界。

架构

功能比较

本地化部署 Dify 社区版

https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose

要在本地进行 Dify 的私有化部署并接入本地大模型，可以参考官方的链接。

私有化部署 Dify

系统要求：

CPU：至少 2 核心
RAM：至少 4GB

克隆 Dify 源代码：
打开终端或命令提示符，输入以下命令克隆 Dify 的源代码：

git clone https://github.com/langgenius/dify.git  
cd dify/docker  
cp .env.example .env

启动 Dify：
使用 Docker Compose 一键启动 Dify：

docker compose up -d

启动成功后，Dify 会运行多个容器，包括业务服务和基础组件。

访问 Dify 应用：
由于 Dify 使用 Nginx 将 Web 服务转发到 80 端口，因此可以在浏览器中输入公网 IP 地址访问 Dify 应用。

接入本地大模型

使用 LocalAI 部署本地模型

部署 LocalAI：

克隆 LocalAI 代码仓库并进入指定目录：

git clone https://github.com/go-skynet/LocalAI  
cd LocalAI/examples/langchain-chroma

- 下载示例模型：

wget https://huggingface.co/skeskinen/ggml/resolve/main/all-MiniLM-L6-v2/ggml-model-q4_0.bin -O models/bert  
wget https://gpt4all.io/models/ggml-gpt4all-j.bin -O models/ggml-gpt4all-j

- 配置 `.env` 文件，并启动 LocalAI：

docker-compose up -d --build

在 Dify 中接入 LocalAI：

模型名称：gpt-3.5-turbo
服务器 URL：http://127.0.0.1:8080（如果是 Docker 部署，使用宿主机 IP 地址）。
登录 Dify 应用，进入“设置” > “模型供应商” > “LocalAI”。
填写模型信息，例如：

使用 Ollama 部署本地模型（推荐）

下载并安装 Ollama：
访问 Ollama 官网下载对应系统的客户端。
运行 Ollama：
在终端中运行 Ollama 并启动 API 服务：

ollama run llava

Ollama 会在本地 11434 端口启动一个 API 服务。

在 Dify 中接入 Ollama：

模型名称：llava
基础 URL：http://127.0.0.1:11434（如果是 Docker 部署，使用局域网 IP 地址）。
登录 Dify 应用，进入“设置” > “模型供应商” > “Ollama”。
填写模型信息，例如：

通过以上步骤，你可以在本地私有化部署 Dify 并接入本地大模型，从而实现更灵活和安全的 AI 应用开发和部署。

本地化API调用

私有化部署dify后，如何本地API调用呢，这里我们给出一个demo

在私有化部署 Dify 后，可以通过以下步骤进行本地 API 调用：

获取 API 密钥

登录 Dify 应用的后台管理界面。
在应用设置中找到并复制应用的 API 密钥（API Key）。

配置 API URL

确认 Dify 的 API 服务端口。默认情况下，Dify 的 API 服务可能通过 Nginx 转发到 80 端口，如果没有修改过端口，则直接使用 http://localhost 或者 http://<your-server-ip> 作为 API URL。如果修改了端口，例如使用了 81 端口，则 URL 应为 http://localhost:81。

发送 API 请求

以下是一个使用 Python 发送 API 请求的示例代码，假设您要调用聊天消息 API：

import requests  
import json  
  
# API请求的URL，注意替换为你的实际端口号（如未修改端口，默认不需要加端口号）  
url = 'http://localhost/v1/chat-messages'  
  
# 应用密钥  
api_key = "your-api-key"  
  
# 请求头  
headers = {  
    'Authorization': f'Bearer {api_key}',  
    'Content-Type': 'application/json',  
}  
  
# 请求数据  
data = {  
    "inputs": {},  
    "query": "What are the specs of the iPhone 13 Pro Max?",  
    "response_mode": "blocking",  
    "conversation_id": "",  
    "user": "abc-123"  
}  
  
# 发送POST请求  
response = requests.post(url, headers=headers, data=json.dumps(data))  
  
# 处理响应  
if response.status_code == 200:  
    print(response.json())  
else:  
    print(f"Error: {response.status_code}, {response.text}")

请将 your-api-key 替换为实际的 API 密钥，并根据需要调整 URL 和请求数据。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述