大模型LLM | 安装 Dify 并集成 Ollama 和 Xinference

AI老皮

于 2024-10-04 17:55:50 发布

阅读量1k

点赞数 22

文章标签：人工智能大模型 AI大模型 LLM AI Dify AGI

本文链接：https://blog.csdn.net/m0_59614665/article/details/142705485

版权

在这里插入图片描述

本文介绍了通过 Docker 安装 Dify，然后集成 Ollama 和 XInference，并利用 Dify 快速搭建一个基于知识库问答的应用。

一、Dify 简介
二、Dify 安装
三、Dify 添加Ollama模型问答
四、Dify 基于知识库问答

一、Dify 简介

Dify 是一款开源的大语言模型（LLM）应用开发平台，旨在帮助开发者快速构建和部署生成式 AI 应用。以下是 Dify 的主要功能和特点 [1]：

融合 Backend as Service 和 LLMOps 理念：Dify 将后端即服务（Backend as Service）和 LLMOps 的理念结合，使开发者能够快速搭建生产级的生成式 AI 应用。
支持多种模型：Dify 支持数百种专有和开源的 LLM 模型，包括 GPT、Mistral、Llama3 等，能够无缝集成来自多家推理提供商和自托管解决方案的模型。
直观的 Prompt 编排界面：Dify 提供了一个直观的 Prompt IDE，用于编写提示、比较模型性能，并向基于聊天的应用程序添加语音转换等附加功能。
高质量的 RAG 引擎：Dify 拥有广泛的 RAG 功能，涵盖从文档摄取到检索的一切，并支持从 PDF、PPT 等常见文档格式中提取文本。
集成 Agent 框架：用户可以基于 LLM 函数调用或 ReAct 定义代理，并为代理添加预构建或自定义工具。Dify 提供了 50 多种内置工具，如 Google 搜索、DELL·E、Stable Diffusion 和 WolframAlpha。
灵活的流程编排：Dify 提供了一个强大的可视化画布，用于构建和测试强大的 AI 工作流，使开发者可以直观地设计和优化他们的 AI 流程。
全面的监控和分析工具：Dify 提供了监控和分析应用日志和性能的工具，开发者可以根据生产数据和注释不断改进提示、数据集和模型。
后端即服务：Dify 的所有功能都附带相应的 API，因此可以轻松将 Dify 集成到您自己的业务逻辑中。

二、Dify 安装

拷贝 Dify Github代码到本地 [2]。

git clone https://github.com/langgenius/dify.git

进入 dify 源代码的 docker 目录，拷贝环境变量。

cd dify/docker
cp .env.example .env

通过docker compose安装应用。

docker compose up -d

进入ollama容器，启动qwen2:7b模型。

root@ip-172-31-30-167:~/dify/docker# docker pull ollama/ollama
root@ip-172-31-83-158:~/dify/docker# docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always -e OLLAMA_KEEP_ALIVE=-1 ollama/ollama
root@ip-172-31-83-158:~/dify/docker# docker exec -it ollama bash
root@b094349fc98c:/# ollama run qwen2:7b

三、Dify 添加Ollama模型问答

通过EC2的公网IP地址加上80端口，登录Dify主页，创建管理账户。

通过管理员账号登录。

点击用户-设置。

添加Ollama模型。

添加qwen2:7b模型，因为Ollama是在本机启动，所以设置URL为本地IP地址，端口为114341，

“

qwen2-7b-instruct 利用YARN（一种增强模型长度外推的技术）支持 131,072 tokens上下文，为了保障正常使用和正常输出，建议API限定用户输入为 128,000 ，输出最大 6,144。[3]

”

点击工作室-创建空白应用

创建“聊天助手”类型的应用，设置应用名称为Qwen2-7B，点击创建。

为应用设置提示词"你是一个人工智能助手"，可以和Qwen2:7B进行对话测试，这里是和大模型本身进行对话，没有引入外部的知识库，后续会引入知识库比较回答的结果。

四、Dify 基于知识库问答

添加Xorbits Inference提供的模型。

添加Text Embedding，即文本嵌入模型，模型的名称为bge-m3，服务器URL为http://172.31.30.167:9997（这里是本机的IP，也可以安装在其他机器，网络和端口可达即可），已经提前在本机上启动了XInference，并且启动了bge-m3模型（参考上一篇文章）。

添加Rerank，即重排模型，模型的名称为bge-reraker-v2-m3，服务器URL为http://172.31.30.167:9997（这里是本机的IP，也可以安装在其他机器，网络和端口可达即可），已经提前在本机上启动了XInference，并且启动了bge-reraker-v2-m3模型（参考上一篇文章）。

查看系统默认设置。

点击“知识库”-“导入已有文本”-“上传文本文件”-选择《促进和规范数据跨境流动规定》的文档。

导入成功后，设置文本检索方式，开启Rerank模型，选择bge-reranker-v2-m3模型，开启默认的Score阈值为0.5（即文本匹配度低于0.5分时，不会召回，不会添加到大模型的上下文中）。

在之前的聊天应用中，添加上面创建的知识库，重新询问大模型相同的问题，可以看到模型结合知识库进行了回答。

可以点击“Prompt日志”，查看日志文件，可以查看系统提示词，将匹配的知识库内容放在了<context></context>中。

点击创建的知识库-点击“召回测试”，可以输入一段文本，用与匹配知识库中的文本，匹配到的文本有一个权重分数，上面设置过的阈值是0.5，即大于这个分数的才会显示为“召回段落”。

文档链接

[1] Dify 官网：https://dify.ai/zh
[2] Dify Docker Compose 部署：https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted/docker-compose
[3] Qwen Token限制：https://help.aliyun.com/zh/dashscope/developer-reference/tongyi-qianwen-7b-14b-72b-api-detailes