Linux系统部署搭建AI私人知识库助手教程

前言

本篇文章教你如何搭建本地的私有大语言模型，和向量画数据库，实现一个本地的私有AI知识问答客服系统。需要用到的技术是开源项目由docker,fastgpt、one-api，开源LLM大模型，vllm或者ollama。

• docker 是一款开源的应用容器引擎,用来快速构建服务。
• fastgpt 基于LLM大模型的AI知识库构建平台。
• one-api 是一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。
• LLM大模型 （Large Language Model，简称LLM）是一种先进的人工智能技术，主要用于理解和生成人类语言。
• Ollama 是一个开源的轻量级框架及命令行工具，设计用于本地部署和运行大型语言模型（LLMs）。
• vLLM 大模型推理加速工具。

开启部署前，一张N卡，30系列或者40系列，或者A系列的都行，显存至少4G，内存至少8G，CPU四核即可。这样才能跑得动一个比较小的开源LLM模型。

Docker

首先现在linux系统上安装docker,方便后面快速安装和管理其他服务。
在 CentOS 系统上安装 Docker 的最新稳定版，可