大模型LLM | 从零开始带你基于 FastGPT 搭建本地私有化知识库！看这一篇就够了！

最新推荐文章于 2024-10-24 15:23:16 发布

Code1994

最新推荐文章于 2024-10-24 15:23:16 发布

阅读量1k

点赞数 13

文章标签：人工智能大模型 AI大模型 LLM 本地知识库 ai agi

本文链接：https://blog.csdn.net/Code1994/article/details/142816327

版权

当今环境，所有人都面临一个问题：信息过载。不知道你是否曾经遇到过以下困扰？

在海量数据中搜索时，是否难以迅速找到所需的信息？
在面对日益增长的专业知识，是否感到知识管理的需求愈发迫切？
对于敏感数据的存储，是否时常害怕一不小心就会泄露关键信息？
在日常工作中，是否因为工作效率不高而觉得时间不够用？

如果这些场景让你感同身受，那么你一定在思考：是否存在一种方案，能够一举解决这些棘手的问题？

确实有这么一个方案，它就是基于 FastGPT 搭建本地私有化知识库，一个为你量身定制专属的知识管理解决方案。

下面将带领大家揭示如何结合FastGPT、大语言模型和向量模型，构建属于你自己的本地私有化知识库。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

一、安装部署FastGPT

什么是FastGPT？

FastGPT，是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。

同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！

FastGPT 在线使用地址：https://cloud.fastgpt.in/login

FastGPT 在线GitHub地址：https://github.com/labring/FastGPT

1、推荐配置

为了满足广大用户的具体需求，FastGPT提供了PgVector、Milvus和zilliz cloud三种版本可供选择。我们可以根据自己的数据规模和性能要求，灵活地在Linux、Windows、Mac等不同的操作系统环境中部署合适的版本。

「PgVector版本」 —— 针对初体验与测试的完美起点
PgVector版本是进行初步体验和测试的理想选择。它简便易用，适合处理中小规模的向量数据，能够迅速掌握并开始工作。

「Milvus版本」 —— 专为千万级向量数据设计的性能强者
当数据处理需求升级至千万级以上，Milvus版本较之其他版本具有卓越的性能优势，是处理大规模向量数据的首选方案。

「zilliz cloud版本」 —— 亿级向量数据的专业云服务解决方案
对于处理亿级及更高量级的海量向量数据，zilliz cloud版本提供了专业的云服务支持，确保您能够获得高效且稳定的数据处理体验。得益于向量库使用了 Cloud，无需占用本地资源，无需太关注配置。

2、环境准备

FastGpt的部署重度依赖于Docker环境。因此，在本地系统或所管理的服务器上安装Docker环境是确保FastGpt顺畅运行的必要条件。

什么是Docker？ 这么说吧，FastGpt就像一款需要特定玩具盒子才能玩的电子游戏。这个特定的玩具盒子的名字就叫“Docker”。所以，如果我们想在我们的电脑或服务器上顺利地运行FastGpt，就必须先安装这个玩具盒子，这样FastGpt才能正确地工作。

Windows 系统安装 Docker

在 Windows 系统上，建议将源代码和其他数据绑定到 Linux 容器时，使用 Linux 文件系统而非 Windows 文件系统，以避免兼容性问题。

「使用 Docker Desktop」
「推荐使用 WSL 2 后端」：可以通过 Docker 官方文档在 Windows 中安装 Docker Desktop。

具体步骤请参考**：****https://docs.docker.com/desktop/wsl/**。
「使用命令行版本的 Docker」
「直接在 WSL 2 中安装」：如果不希望使用 Docker Desktop，也可以选择在 WSL 2 中直接安装命令行版本的 Docker。

详细安装步骤请参考：https://nickjanetakis.com/blog/install-docker-in-wsl-2-without-docker-desktop。

macOS 系统安装 Docker

对于 macOS 用户，推荐使用 Orbstack 来安装 Docker。

「通过 Orbstack 安装」：

访问 Orbstack 官网 **（https://orbstack.dev/）**按照指示进行安装。

「通过 Homebrew 安装」：
```
brew install orbstack   
```

在终端运行以上命令

Linux 系统安装 Docker

在 Linux 系统上安装 Docker 的步骤如下：

「打开终端，运行以下命令来安装 Docker：」

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker

「接着安装 **docker-compose**：」

curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose

「验证安装是否成功」：

docker -v   docker-compose -v

运行以上命令来验证 Docker 和 docker-compose 是否正确安装

3、开始部署

下载 **docker-compose.yml** 文件
首先，我们需要访问 FastGPT 的 GitHub 仓库。在仓库的根目录中找到 **docker-compose.yml** 文件。点击文件，然后点击 “Raw”（原始）按钮，文件内容将显示在浏览器中。接下来，右键点击页面，选择 “保存为”，将其保存到您的计算机上。
修改 **docker-compose.yml** 环境变量
使用文本编辑器（如记事本、Notepad++、VSCode 等）打开下载的 **docker-compose.yml** 文件，接下来在文件中找到与向量库版本相关的部分。根据您选择的向量库（PgVector、Milvus 或 Zilliz），您需要修改相应的环境变量。

注意：如果选择的是 Zilliz 版本，则需要找到包含 **MILVUS_ADDRESS** 和 **MILVUS_TOKEN** 的行，将它们修改为您的 Milvus 服务地址和认证令牌，而另外的两个版本无需修改。
启动容器
打开命令行工具（如终端、命令提示符或 PowerShell）。
使用 **cd** 命令切换到包含 **docker-compose.yml** 文件的目录。例如：
```
cd path/to/your/docker-compose.yml/directory   
```
然后运行以下命令来启动容器：
```
docker-compose up -d   
```
这个命令会在后台启动所有定义在 **docker-compose.yml** 文件中的服务。
打开 OneAPI 添加模型
在浏览器中输入您的服务器 IP 地址后跟 **:3001**，例如 **http://192.168.1.100:3001**。
然后使用默认账号 **root** 和密码 **123456** 登录 OneAPI。登录后，根据指示添加 AI 模型渠道。
访问 FastGPT
在浏览器中输入您的服务器 IP 地址后跟 **:3000**，例如 **http://192.168.1.100:3000**。
使用默认用户名 **root** 和在 **docker-compose.yml** 文件中设置的 **DEFAULT_ROOT_PSW** 密码登录 FastGPT。
至此，FastGPT安装部署大功告成！