Day14—基于Langchain-chatchat搭建本地智能

一、基于Langchain-chatchat搭建本地智能

知识问答系统

1、项目介绍

基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

依托于本项目支持的开源 LLM 与 Embedding 模型，本项目可实现全部使用开源模型离线私有部署。与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各类模型及模型API 的接入。

本项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 -> 匹配出的文本作为上下文和问题一起添加打包-> 提交给LLM，最后生成回答。

该项目是一个可以实现 完全本地化推理的知识库增强方案, 重点解决数据安全保护，私域化部署的企业痛点。 本开源方案采用Apache License，可以免费商用，无需付费。

2、环境安装

• 2.1、Anaconda
  Anaconda 是一个流行的 Python 数据科学和机器学习平台，用于管理和部署数据科学项目。它提供了一个开发环境，其中包含了众多常用的数据科学工具和库，如 Python 编程语言、NumPy、Pandas、SciPy、Matplotlib、Scikit-learn 等。
  Anaconda 的主要作用是简化数据科学项目的设置和管理。它通过提供一个集成的发行版，使用户能够轻松地安装、配置和升级数据科学工具。Anaconda 还包含了一个名为 conda 的包管理器，它能够帮助用户创建独立的 Python环境，以便在不同项目之间隔离不同的依赖关系。
  以下是 Anaconda 的一些主要功能和作用：
  • 包管理：Anaconda 提供了 conda 包管理器，可以方便地安装、升级和删除各种数据
  1 of 4科学工具和库，而无需手动处理依赖关系。
  • 环境管理：conda 还可以创建和管理独立的 Python 环境。这意味着你可以在同一台
  计算机上同时拥有多个项目，每个项目都有自己独立的 Python 环境和依赖项，避免
  了版本冲突和包管理的困扰。
  • 数据科学工具和库：Anaconda 预先包含了许多常用的数据科学工具和库，使用户可
  以立即开始进行数据分析、数据可视化和机器学习等任务，而无需手动安装它们。
  • 跨平台支持：Anaconda 可以在多个操作系统上运行，包括 Windows、macOS 和
  Linux。
  总之，Anaconda 是一个强大的数据科学平台，它简化了数据科学项目的设置和管理，提供了丰富的数据科学工具和库，以及便捷的包管理和环境管理功能，使数据科学家和机器学习工程师能够更加高效地进行工作。

创建新的环境

conda create --name 环境名称

创建指定 Python 版本的环境

conda create --name 环境名称 python=版本号

查看环境

conda env list

激活环境

conda activate 环境名称

删除环境

conda remove -n 环境名称 --all

安装指定包：

conda install 包名称

安装指定版本的包

conda install 包名称=版本号

安装多个包

conda install 包名称1 包名称2 包名称3

查看当前环境的所有包

conda list

卸载包

conda remove 包名称
2.2、pip
pip 是一个现代的，通用的 Python 包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能。注：pip 已内置于 Python 3.4 和 2.7 及以上版本，其他版本需另行安装。常见命令如下：

安装库

pip install package-name

查看已安装的库

pip list

卸载库

pip uninstall package_name
3、项目安装

拉取仓库

$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

进入目录

$ cd Langchain-Chatchat

安装全部依赖

$ pip install -r requirements.txt
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txt

默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。

模型下载
资料包
$ git lfs install
$ git clone https://huggingface.co/THUDM/chatglm3-6b
$ git clone https://huggingface.co/BAAI/bge-large-zh
初始化
$ python copy_config_example.py
$ python init_database.py --recreate-vs
$ python startup.py -a
4、演示
ssh -CNg -L 6006:127.0.0.1:6006 root@connect.cqa1.seetacloud.com -p 21716
r1swBDF9BmW/
http://localhost:6006
注：
大语言模型（LLM）是一种利用机器学习技术来理解和生成人类语言的人工智能模型。对于希望从各个方面增强通信和数据处理并实现自动化的企业和机构而言，LLM 具有极高的价值。
LLM 使用基于神经网络的模型，通常运用自然语言处理（NLP）技术来处理和计算其输出。
NLP 是人工智能（AI）的一个分支领域，专注于使计算机能够理解、解释和生成文本，从而让LLM 能够执行文本分析、情绪分析、语言翻译和语音识别等任务。

小结

本次我们了解了大语言模型，并且学会了如何训练大语言模型，对我们日后十分有帮助。