Langchain-Chatchat 从入门到精通（基于本地知识库的问答系统）（更新中）

已于 2024-04-18 18:57:11 修改
阅读量2.2w 收藏 156
点赞数 53
分类专栏： LLM 文章标签： langchain 人工智能 gpt-3 chatgpt
于 2024-04-10 12:24:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42475060/article/details/131724193
版权
文章介绍了Langchain-Chatchat项目，一个基于本地知识库的中文问答应用，支持离线部署和多种开源模型。详细讲解了快速上手步骤，包括硬件需求、环境配置、模型下载、初始化配置以及常见问题的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

前言

一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。（本文侧重于整个项目的理解和内容调节，如部署遇到问题请看结尾的其他参考文章）

一、Langchain-Chatchat介绍

1-1、Langchain-Chatchat介绍

在这里插入图片描述
Langchain-Chatchat 项目地址: https://github.com/chatchat-space/Langchain-Chatchat

一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

依托于本项目支持的开源 LLM 与 Embedding 模型，本项目可实现全部使用开源模型离线私有部署。与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各类模型及模型 API 的接入。

本项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 prompt中 -> 提交给 LLM生成回答。

1-2、LangChain+ChatGLM 工作流

项目实现原理如下：

  • 加载文件
  • 读取文本
  • 文本分割
  • 文本向量化
  • 问句向量化
  • 在文本向量中匹配出与问句向量最相似的top k个
  • 匹配出的文本作为上下文和问题一起添加到Prompt中去
  • 提交给LLM生成回答
    在这里插入图片描述

1-3、文档角度的工作流

在这里插入图片描述

二、快速上手

Notice: 强烈建议直接使用镜像！！！个人去搭建环境真的会遇到亿点点问题😍

2-0、硬件要求

如果想要顺利在GPU运行本地模型的 FP16 版本，你至少需要以下的硬件配置，来保证在我们框架下能够实现 稳定连续对话

ChatGLM3-6B & LLaMA-7B-Chat 等 7B模型

  • 最低显存要求: 14GB
  • 推荐显卡: RTX 4080

Qwen-14B-Chat 等 14B模型

  • 最低显存要求: 30GB
  • 推荐显卡: V100

Yi-34B-Chat 等 34B模型

  • 最低显存要求: 69GB
  • 推荐显卡: A100

Qwen-72B-Chat 等 72B模型

  • 最低显存要求: 145GB
  • 推荐显卡：多卡 A100 以上

注意： 以上显存占用仅供参考，实际占用请以nvidia-smi为准

2-1、环境配置

# 拉取仓库
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

# 进入目录
$ cd Langchain-Chatchat

# 安装全部依赖
$ pip install -r requirements.txt 
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txt  

# 默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。

2-2、模型下载

下载模型要先安装lfs：https://docs.github.com/zh/repositories/working-with-files/managing-large-files/installing-git-large-file-storage
备注： 下载模型可能会因为网络问题无法下载，可以考虑不翻墙的方法,在魔搭社区下载！https://modelscope.cn/models

$ git lfs install
$ git clone https://huggingface.co/THUDM/chatglm3-6b
$ git clone https://huggingface.co/BAAI/bge-large-zh

2-3、初始化知识库和配置文件

$ python copy_config_example.py
$ python init_database.py --recreate-vs

更新知识库表：

python init_database.py --create-tables

2-4、一键启动

$ python startup.py -a

启动后的界面如下：
在这里插入图片描述

其他：

# api服务启动，访问0.0.0.0:7861/docs
python server/api.py

# Web UI服务启动，访问http://localhost:8501/
streamlit run webui.py

三、配置文件详解（config目录下）

3-1、basic_config

basic_config介绍： 基础配置文件，记录日志格式、日志存储路径以及临时文件目录。一般无需修改。

代码界面截图如下所示
在这里插入图片描述

3-2、kb_config

kb_config介绍： 向量数据库配置、分词器配置、知识库配置等。

代码界面截图如下所示：
在这里插入图片描述

3-3、model_config

model_config介绍： 模型配置项，包括选用的Embedding、要运行的LLM、在线LLM的api、key的配置。

代码界面截图如下所示：

在这里插入图片描述
支持的联网模型：

  • 智谱AI
  • 阿里云通义千问
  • 百川
  • ChatGPT
  • Gimini
  • Azure OpenAI
  • MiniMax
  • 讯飞星火
  • 百度千帆
  • 字节火山方舟

目前支持的本地向量数据库列表如下：

  • FAISS
  • Milvus
  • PGVector
  • Chroma

默认配置如下：

  • LLM: Chatglm3-6b
  • Embedding Models: m3e-base
  • TextSplitter: ChineseRecursiveTextSplitter
  • Kb_dataset: faiss

Notice：

  • TEMPERATURE: 不建议设置太高，在比较严格的场景下建议设置为0或者接近0，如知识库问答，否则模型会一本正经的胡说八道。
  • HISTORY_LEN: 历史对话轮数不建议设置太高，默认为3，如果保留太多会爆显存。

3-4、prompt_config

prompt_config介绍： 提示词配置，包括基础的大模型对话提示词、知识库的对话提示词、搜索引擎的对话提示词、与Agent对话的提示词。

  • llm_chat: 最基本的对话提示词。
  • knowledge_base_chat: 与知识库对话的提示词。
  • agent_chat: 与Agent对话的提示词。

Notice： prompt模板使用Jinja2语法，简单点就是用双大括号代替f-string的单大括号 请注意，本配置文件支持热加载，修改prompt模板后无需重启服务。

代码界面截图如下所示：
在这里插入图片描述

3-5、server_config

server_config介绍： 服务器和端口的配置项，如果需要修改端口号的话可以在这里进行修改。

Notice： 在启动startup.py时，可用通过–model-worker --model-name xxxx指定模型，不指定则为LLM_MODEL

代码界面截图如下所示：

在这里插入图片描述

四、其他问题

4-1、如何开启量化模式？

在配置文件server_config文件里有Load_8bit参数，改为True即可：

在这里插入图片描述

4-2、加载其他模型？

  • 在model_config文件夹里我们可以看到该框架支持的模型：

在这里插入图片描述

  • 首先我们需要在model_config里修改模型以及Embedding的根目录，将下载好的模型放于该根目录下，并且模型文件夹名称要与上边的模型名称一致。例如：mv Qwen1___5-14B/ Qwen1.5-14B-Chat

在这里插入图片描述

  • 若需要使用在线模型，只需把申请好的API_KEY等填入即可。

在这里插入图片描述

  • 模型下载请去结尾参考文章魔搭社区官网下载。

4-3、加载BaiChuan模型报错AttributeError: ‘BaichuanTokenizer’ object has no attribute ‘sp_model’

解决方法： 由于版本冲突导致，需要更改以下包的版本

pip install transformers==4.33.3
pip install torch==2.0.1
pip install triton==2.0.0

4-4、加载通义千问模型报错KeyError: ‘qwen2’

解决方法： 由于版本冲突导致，需要更改以下包的版本

# 大于这个版本也是ok的
pip install --upgrade transformers==4.37.2

（腹语）： 这个transformers版本是没法加载BaiChuan的，所以你只能二选一！

参考文章：

Langchain官方GitHub
Langchain-Chatchat 官方Github
Langchain-Chatchat 官方Github----疑难问题解答
魔搭社区官网
【大模型实践】使用 Langchain-Chatchat 进行本地部署的完整指南).
Langchain-Chatchat + 阿里通义千问Qwen 保姆级教程 | 次世代知识管理解决方案
Langchain-Chatchat大语言模型本地知识库的踩坑、部署、使用
【大模型实践】使用 Langchain-Chatchat 进行本地部署的完整指南
LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embe
Langchain-Chatchat开源库使用的随笔记（一）

总结

确认过眼神，我遇上对的人💕💕💕

Langchain-Chatchat本地部署的解决方案
herosunly的博客
08-28 15万+
本文主要介绍了Langchain-Chatchat本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 启动xinference 4. 启动Langchain-Chatchat
langchain-chatchat代码使用
04-13
langchain-chatchat代码结构思维导图
保姆级教程！手把手教你从零开始基于 Langchain-Chatchat 搭建本地大模型知识库
fengshi_fengshi的专栏
11-07 2028
LangChain-Chatchat基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的 RAG 与 Agent 应用项目，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。 本文我们通过先简单介绍LangChain-Chatchat 的原理，让大家有个大概认知，然后通过手把手一步一步教大家搭建自己的本地大模型知识库，如下所示就是我们的最终成果，相信通过这篇文章，你也能快速搭建自己的本地大模型知识库！
LangChain-Chatchat + deepseek 搭建知识库应用
最新发布
细节处有神明的博客
03-07 1250
之前介绍过如何使用 cherry studio 搭建本地知识库应用，不过它只能在个人电脑上运行，无法实现web端的应用。如何利用开源工具LangChain - Chatchat，在本地快速构建一个知识库的web应用，希望对大家有所帮助，如果有什么疑问欢迎留言评论。
Langchain-Chatchat大语言模型本地知识库的踩坑、部署、使用
python1234567_的博客
01-10 1801
Langchain-Chatchat是一个基于ChatGLM大语言模型与Langchain应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型的本地知识库问答应用项目。
一篇文章学会大模型【魔搭社区教程】【本地部署通义Qwen2大模型：配置+微调+部署，带你训练自己的行业大模型！】【源代码】【已经解决天坑】【程序员猫爪】
程序员猫爪
12-25 2164
一篇文章学会大模型【魔搭社区教程】【程序员猫爪】【本地部署通义Qwen2大模型：配置+微调+部署，带你训练自己的行业大模型！】【已经解决天坑】
新手教程，使用Langchain-Chatchat构建自己的专属GPT
python1234567_的博客
01-21 1393
langchain 这个框架包括衍生出来的 Langchain-Chatchat 还是很值得大家关注的，对于有私有数据，不方便上传到 gpt 的，可以自己搭建这种功能的服务。另外，langchain 这个框架的发展速度是想当惊人的，现在已经有 83k 的 start，也就是 8 万 3 千多人，项目贡献者已经超多了 2600 人，是值得大家关注学习的。
探索LangChain：从入门到精通的实用指南
nseejrukjhad的博客
10-03 377
LangChain是一个专注于语言模型链式调用的框架。它允许开发者将多个自然语言处理任务串联起来，实现复杂的应答和信息提取。学习LangChain不仅仅是掌握一项技术，更是探索自然语言处理的核心力量。Deeplearning.AI的LangChain课程。
一文搞懂LangChain是什么
热门推荐
lvaolan168的博客
08-06 1万+
LangChain是一个专门为利用语言模型创建应用程序而设计的全面框架。它的主要目标是帮助开发人员轻松构建基于语言模型的应用。虽然LangChain与多种语言模型兼容，但它特别与OpenAI ChatGPT无缝集成，从中受益于其先进功能。本文学习知识点: 语言模型（LLMs）和LangChain。提示工程。语言模型的内存。语言模型的链式结构。LangChain索引。工具和代理。
Langchain-chatchat： Langchain基本概念
2401_84495872的博客
06-17 1609
理解了chains的作用和意义，才能真正理解Langchain的作用和意义，个人理解，Langchain就像高达玩具一样，可以融合市场上主流的大模型，并且提供了组合调用链路以供使用者快速上手使用，也支持使用者自己定义组装自己的调用链路，以此来满足各种各种的场景需求，因此与其说Langchain是个框架和工具，倒不如说Langchain是一个设计模式或者理念，使用者不应该拘泥于某一种的使用方式，而是探索在不同的场景中如何让chains更加高效的工作，甚至是自定义自己的chains。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1551
AI菜鸟向前飞 — LLM简介
Langchain-Chatchat基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答
02-07
**Langchain-Chatchat：基于Langchain与ChatGLM的本地知识库问答系统** Langchain-Chatchat是一款基于Python开发的本地知识库问答系统，它整合了Langchain库和ChatGLM等先进的自然语言处理技术，旨在提供高效、个性...
基于Langchain-Chatchat的垂直领域特定场景定制化设计源码
10-02
Langchain-Chatchat项目的垂直领域定制化设计源码是一个复杂的软件项目，它需要多种技术栈的融合，覆盖了从基础架构搭建到用户界面设计再到数据处理的全过程。该项目的设计思想和技术实现对于理解如何将开源项目应用...
基于Langchain-chatchat搭建本地智能知识问答系统
m0_70276855的博客
06-20 850
富的数据科学工具和库，以及便捷的包管理和环境管理功能，使数据科学家和机器学习工程师能。的主要作用是简化数据科学项目的设置和管理。是一个强大的数据科学平台，它简化了数据科学项目的设置和管理，提供了丰。）的一个分支领域，专注于使计算机能够理解、解释和生成文本，从而让。， 创建一个虚拟环境，并在虚拟环境内安装项目的依赖。数据科学和机器学习平台，用于管理和部署数据科学项目。供了一个开发环境，其中包含了众多常用的数据科学工具和库，如。器，它能够帮助用户创建独立的 Python环境，以便。
Langchain-Chatchat本地部署
我想问问天的专栏
03-10 4678
虽然使用Chatchat整个过程中的坑还是挺多的，但是至少跑起来了，而且在跑这个项目中遇到了很多自己没有接触过的知识。比如量化模型这个概念，是在优化返回速度的时候才知道可以把模型的精度改小，提高计算速度。现在本地还只运行成功了项目本身支持的几个模型，像界面中的知识库问答，文件对话，搜索引擎问答，自定义agent都还没跑成功，还有挺多东西要去研究和尝试的，还是挺有意思的。我想了想后面可能会针对其他的几个模式也写一些记录。
Langchain-chatchat系列一： Langchain基本概念与应用解析
2401_84495872的博客
12-03 2587
理解了chains的作用和意义，才能真正理解Langchain的作用和意义，个人理解，Langchain就像高达玩具一样，可以融合市场上主流的大模型，并且提供了组合调用链路以供使用者快速上手使用，也支持使用者自己定义组装自己的调用链路，以此来满足各种各种的场景需求，因此与其说Langchain是个框架和工具，倒不如说Langchain是一个设计模式或者理念，使用者不应该拘泥于某一种的使用方式，而是探索在不同的场景中如何让chains更加高效的工作，甚至是自定义自己的chains。
langchain从入门到精通（非常详细），零基础入门到精通，看这一篇就够了
Java癫疯的博客
10-12 4030
langchain从入门到精通（非常详细），零基础入门到精通，看这一篇就够了
langchain-chatchat
09-12
langchain-chatchat是一种人工智能聊天机器人平台，可以提供智能助手和语音交互的功能。它使用自然语言处理和机器学习算法，能够与人类进行对话，并根据用户输入提供相应的回答和建议。 它的核心技术是语音识别和语义理解，它可以将用户的语音输入转化为文字，并分析用户的意图和需求。通过深度学习和大数据分析，它能够不断学习和提高自己的回答和交流能力，达到更高的智能水平。 langchain-chatchat可以在各种场景中应用，比如智能客服、语音助手等。它可以帮助用户解决问题、提供信息、推荐产品等。用户可以通过语音或文字与机器人进行交互，而不必依赖于人类的干预和指导。 此外，langchain-chatchat还具有多语种的能力，可以支持多种语言的交流。这使得它可以适用于不同语言背景的用户，帮助人们进行跨语言交流和理解。 总之，langchain-chatchat是一种智能聊天机器人平台，通过语音识别和语义理解技术，可以与用户进行对话和交流，并帮助解决问题和提供信息。它具有多语种的能力，适用于各种场景，为用户提供方便和便利。
评论 24
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ㄣ知冷煖★

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值