知识问答系统

知识问答系统

请确保设备至少为4090可以使用阿里云搭建

1、项目介绍
基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开一种利用 langchain 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。

依托于本项目支持的开源 LLM 与 Embedding 模型，本项目可实现全部使用开源模型离线私有部署。与此同时，本项目也支持 OpenAI GPT API 的调用，并将在后续持续扩充对各类模型及模型API 的接入。

本项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 -> 匹配出的文本作为上下文和问题一起添加打包-> 提交给LLM，最后生成回答。

该项目是一个可以实现 完全本地化推理的知识库增强方案, 重点解决数据安全保护，私域化部署的企业痛点。 本开源方案采用Apache License，可以免费商用，无需付费。

2、环境安装
2.1、Anaconda
Anaconda 是一个流行的 Python 数据科学和机器学习平台，用于管理和部署数据科学项目。它提供了一个开发环境，其中包含了众多常用的数据科学工具和库，如 Python 编程语言、NumPy、Pandas、SciPy、Matplotlib、Scikit-learn 等。
Anaconda 的主要作用是简化数据科学项目的设置和管理。它通过提供一个集成的发行版，使用户能够轻松地安装、配置和升级数据科学工具。Anaconda 还包含了一个名为 conda 的包管理器，它能够帮助用户创建独立的 Python环境，以便在不同项目之间隔离不同的依赖关系。
以下是 Anaconda 的一些主要功能和作用：
• 包管理：Anaconda 提供了 conda 包管理器，可以方便地安装、升级和删除各种数据
1 of 4科学工具和库，而无需手动处理依赖关系。
• 环境管理：conda 还可以创建和管理独立的 Python 环境。这意味着你可以在同一台
计算机上同时拥有多个项目，每个项目都有自己独立的 Python 环境和依赖项，避免
了版本冲突和包管理的困扰。
• 数据科学工具和库：Anaconda 预先包含了许多常用的数据科学工具和库，使用户可
以立即开始进行数据分析、数据可视化和机器学习等任务，而无需手动安装它们。
• 跨平台支持：Anaconda 可以在多个操作系统上运行，包括 Windows、macOS 和
Linux。
总之，Anaconda 是一个强大的数据科学平台，它简化了数据科学项目的设置和管理，提供了丰富的数据科学工具和库，以及便捷的包管理和环境管理功能，使数据科学家和机器学习工程师能够更加高效地进行工作。
创建新的环境
conda create --name 环境名称

创建指定 Python 版本的环境
conda create --name 环境名称 python=版本号

查看环境
conda env list

激活环境
conda activate 环境名称

删除环境
conda remove -n 环境名称 --all

安装指定包：
conda install 包名称

安装指定版本的包
conda install 包名称=版本号

安装多个包
conda install 包名称1 包名称2 包名称3

查看当前环境的所有包
conda list

卸载包
conda remove 包名称
2.2、pip
pip 是一个现代的，通用的 Python 包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能。注：pip 已内置于 Python 3.4 和 2.7 及以上版本，其他版本需另行安装。常见命令如下：

安装库
pip install package-name

查看已安装的库
pip list

卸载库
pip uninstall package_name
3、项目安装

拉取仓库
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

进入目录
$ cd Langchain-Chatchat

安装全部依赖
$ pip install -r requirements.txt
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txt

默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。
模型下载
资料包
$ git lfs install
$ git clone https://huggingface.co/THUDM/chatglm3-6b
$ git clone https://huggingface.co/BAAI/bge-large-zh
初始化
$ python copy_config_example.py
$ python init_database.py --recreate-vs
$ python startup.py -a