开源平台 Ollama + Langchain：构建智能对话系统的实践指南

概要

随着自然语言处理（NLP）技术的发展，开源社区提供了许多强大的工具，帮助开发者构建出更加智能的对话系统。本文将详细介绍如何使用 Ollama 和 Langchain 构建这样一个系统，并提供详细的步骤指导。

整体架构流程

一、Ollama 环境准备

1. 下载安装 Ollama
   首先，我们需要在本地环境中安装 Ollama。这一步骤可以通过简单的命令行操作完成：

curl -sSL https://install.ollama.ai | sh

2. 测试运行 Ollama
   安装完成后，可以通过以下命令启动 Qwen-2 模型的一个版本进行测试：

 ollama run qwen2:7b

如果一切正常，模型将启动成功，并可以通过 API 接口进行访问。

3. 关闭服务
   要停止正在运行的服务，可以通过输入 /bye 并按回车键来实现。如果服务未能响应，可以查找进程号并通过 kill 命令强制终止。

4. anythingLLM
   
   可以直接从官网下载。步骤可参考ollama+anyllM

Langchain-Chatchat 模型准备

(另一种方式)

1. 下载模型
   使用 Ollama 命令行工具拉取所需的模型：

ollama pull quentinz/bge-large-zh-v1.5
ollama pull qwen2:7b

2. Langchain-Chatchat 源码运行环境准备
   a. 软硬件要求
   软件：Langchain-Chatchat 支持 Python 3.8 到 3.11，并已在 Windows、macOS 和 Linux 上进行了测试。
   硬件：从 0.3.0 版本开始，Langchain-Chatchat 可以在 CPU、GPU、NPU 或 MPS 等不同硬件环境下运行。
   b. 安装 Langchain-Chatchat
   确保安装的是最新版本，建议从官方 PyPI 源或清华源安装：

 pip install langchain-chatchat -U

c. 模型推理框架与模型加载
Langchain-Chatchat 支持多种模型推理框架，如 Xinference、Ollama、LocalAI、FastChat、OneAPI 等。请确保已运行所选框架并加载了所需模型。

d. 初始化项目配置与数据目录
从 0.3.1 版本开始，Langchain-Chatchat 使用 YAML 文件进行配置。用户可以通过设置环境变量 CHATCHAT_ROOT 来指定配置和数据目录的位置：

export CHATCHAT_ROOT=/path/to/chatchat_data

执行初始化命令：

chatchat init

这将创建必需的数据目录、复制示例知识库内容并生成默认配置文件。
e. 修改配置文件
根据使用的模型推理框架及加载的模型，调整 model_settings.yaml 文件中的配置项。主要关注以下部分：

默认选用的 LLM 名称：DEFAULT_LLM_MODEL: qwen:7b
默认选用的 Embedding 名称：quentinz/bge-large-zh-v1.5
在 MODEL_PLATFORMS 中更新对应模型平台信息。

对于知识库路径配置（basic_settings.yaml），如果需要更改默认位置，也可以在此处进行修改。

f. 初始化知识库
确保模型推理框架及其 Embedding 模型已启动，并完成模型接入配置后，运行以下命令初始化知识库：

chatchat kb -r

3. 启动项目
   最后，使用以下命令启动 Langchain-Chatchat 项目：

 chatchat start -a

小结

通过以上步骤，您可以成功搭建一个基于 Ollama 和anyLLM和 Langchain-Chatchat 的智能对话系统。希望这篇文章对您有所帮助！如果您有任何问题或建议，请随时留言交流。