llm+rag本地化部署手册

已于 2024-08-27 10:49:09 修改
阅读量690 收藏 16
点赞数 20
文章标签： llm
于 2024-08-27 10:32:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CLAYo/article/details/141596487
版权

llm+rag本地化部署手册

1.linux 环境搭建

a.基础实验环境搭建

官网安装 docker desktop 即可，详情见下方 Docker 一节

b.使用 WSL2 进行搭建或者使用原生 linux 进行搭建

在管理员模式下打开 PowerShell 或 Windows 命令提示符，方法是右键单击并选择“以管理员身份运行”，输入 wsl --install 命令，然后重启计算机。或是到 Microsoft Store 搜索 Ubuntu，进行下载

下载后可以用这句命令检查：

​image​

命令行内输入 wsl 即可进入 wsl 系统

​image​

2.依赖环境安装

a. docker

Docker 是一个用于开发、发布和运行应用程序的开放平台。通过 Docker，您可以将应用程序与基础架构分开，从而快速交付软件。使用 Docker，您可以用管理应用程序的相同方式管理基础架构。通过利用 Docker 的发布、测试和部署代码方法，您可以大大减少编写代码与在生产中运行代码之间的延迟。

安装包部署：linux 通过包管理命令，比如 debian 家族 sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin​,centos 家族 sudo yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin​，windows 直接从官网下载 docker desktop 安装包，特点是方便快捷。

二进制部署：从 Docker 官网下载二进制文件并手动安装。适用于没有包管理器的环境或需要定制安装的情况。

Dockerfile 是一个文本文件，其中包含了一系列指令，用于构建一个 Docker 镜像。这些指令定义了如何设置环境、安装软件、复制文件等，以便创建一个完整的运行环境。常用的命令：FROM 指令指定基础镜像，RUN 指令执行命令，CMD 指令指定容器创建时的默认命令，ENTRYPOINT 指令设置主要命令且不易被覆盖，COPY 和 ADD 指令用于文件复制等。docker 在构建镜像时，上下文路径用于告知 docker 引擎本机需打包的文件所在位置，默认是 Dockerfile 所在位置。EXPOSE 声明端口，WORKDIR 指定工作目录，USER 指定执行后续命令的用户和用户组，HEALTHCHECK 监控容器服务运行状态，ONBUILD 延迟构建命令执行，LABEL 为镜像添加元数据

下载完成后,Windows 需要启动 docker desktop 客户端,linux 可以直接在命令行中启动

检查安装是否正确

​image​

docker 换源

由于众所周知的原因, 局域网内访问 docker 的速度和稳定性都是比较抽象的,需要进行换源.一个优质的镜像源是阿里云为个人开发者提供的 docker 源

配置镜像加速器_容器镜像服务(ACR)-阿里云帮助中心 (aliyun.com)

配置完成后需要重启服务才能生效：(linux 下)

systemctl daemon-reload
systemctl restart docker

Windows 下 docker desktop 配置镜像的方法:

在 docker desktop 内打开设置-docker engine,在 json 文件中添加

​"registry-mirrors": ["url"] ​后,点击下方应用&重启按钮即可

离线导入镜像：

本文档提供了一个镜像，您可以通过离线方式导入镜像，或是通过 docker pull ​命令在线导入镜像

镜像可以从本地加载, 比如

docker load -i ollama_latest.tar
docker load -i labring_fastgpt_v4.8.8-fix2.tar
docker load -i labring_fastgpt_sandbox_latest.tar
docker load -i songquanpeng_one-api_v0.6.7.tar
docker load -i pgvector_0.7.0-pg15.tar
docker load -i mysql_8.0.36.tar
docker load -i mongo_5.0.18.tar

将镜像打包为压缩文件,可以用这种方式:

docker save -o ollama_latest.tar ollama/ollama:latest
docker save -o labring_fastgpt_v4.8.8-fix2.tar ghcr.io/labring/fastgpt:v4.8.8-fix2
docker save -o labring_fastgpt_sandbox_latest.tar ghcr.io/labring/fastgpt-sandbox:latest
docker save -o songquanpeng_one-api_v0.6.7.tar ghcr.io/songquanpeng/one-api:v0.6.7
docker save -o pgvector_0.7.0-pg15.tar pgvector/pgvector:0.7.0-pg15
docker save -o mysql_8.0.36.tar mysql:8.0.36
docker save -o mongo_5.0.18.tar mongo:5.0.18

3.FastGPT 部署

a. 如何使用 docker-compose.yml 进行安装

tldr，在 docker-compsoe.yml 同级目录下运行这行命令

docker-compose up -d

如果修改了这个文件的内容，需要重启容器才能生效

docker-compose down
docker-compose up -d

安装完成后会自动启动

下面是详细的解释

什么是 docker-compose

Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose 可以使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从 YML 文件配置中创建并启动所有服务。

参考 Docker 教程 | 菜鸟教程 (runoob.com)

如何编写 docker-compose 文件
  1. docker-compose 文件由三个主要部分组成：services、networks 和 volumes。
  2. services 部分定义了应用程序中的各个服务，每个服务都可以是一个 Docker 容器。
  3. networks 部分定义了容器之间的网络连接。
  4. volumes 部分定义了容器可以使用的存储卷。
如何阅读 docker-compose 配置文件
  1. 了解 docker-compose 文件的基本结构，包括 services、networks 和 volumes 部分。确定每个部分的作用和相互关系。
  2. 分析服务定义，了解每个服务使用的镜像、端口映射、环境变量等配置。确定服务之间的依赖关系和启动顺序。
  3. 检查 networks 部分，了解容器之间的网络连接方式。确定是否需要创建自定义网络，以及网络的驱动和其他属性。
  4. 查看 volumes 部分，了解容器可以使用的存储卷。确定卷的来源和挂载方式。
  5. 注意服务定义中的 environment ，command、depends_on 等选项，了解设置的环境变量对服务的影响。

以下是 docker-compose 文件中各部分的含义

PostgreSQL (pg)

  • 功能: PostgreSQL 是一个强大的开源关系型数据库管理系统，支持多种数据类型和复杂的查询。

  • 配置项:

    • ​image​: 指定使用的 PostgreSQL 镜像。
    • ​container_name​: 容器的名称。
    • ​ports​: 将容器的 5432 端口映射到宿主机的 5432 端口。
    • ​environment​: 设置环境变量，包括数据库用户名、密码和默认数据库。
    • ​volumes​: 使用宿主机上的目录作为数据卷，持久化数据。

  • 如果需要修改:

    • 修改用户名和密码需要更改 POSTGRES_USER​ 和 POSTGRES_PASSWORD​ 环境变量。这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果.
    • 若要修改数据库名称，需要更改 POSTGRES_DB​ 环境变量。
    • 若要更改数据持久化的目录，需要修改 volumes​ 中的宿主机目录。
MongoDB (mongo)

  • 功能: MongoDB 是一个基于分布式文件系统的 NoSQL 数据库管理系统。

  • 配置项:

    • ​image​: 指定使用的 MongoDB 镜像。
    • ​container_name​: 容器的名称。
    • ​command​: 指定了启动 MongoDB 时的一些额外命令，如创建复制集等。
    • ​ports​: 将容器的 27017 端口映射到宿主机的 27017 端口。
    • ​environment​: 设置环境变量，包括管理员用户的用户名和密码。
    • ​volumes​: 使用宿主机上的目录作为数据卷，持久化数据。

  • 如果需要修改:

    • 修改管理员用户名和密码需要更改 MONGO_INITDB_ROOT_USERNAME​ 和 MONGO_INITDB_ROOT_PASSWORD​ 环境变量。
    • 若要修改数据持久化的目录，需要修改 volumes​ 中的宿主机目录。
FastGPT Sandbox (sandbox)

  • 功能: 提供一个沙盒环境用于测试和开发 FastGPT 相关的功能。

  • 配置项:

    • ​image​: 指定使用的 FastGPT 沙盒镜像。
    • ​container_name​: 容器的名称
FastGPT (fastgpt)

  • 功能: 主要的 FastGPT 服务应用，提供人工智能相关的服务。

  • 配置项:

    • ​image​: 指定使用的 FastGPT 镜像。
    • ​container_name​: 容器的名称。
    • ​ports​: 将容器的 3000 端口映射到宿主机的 3000 端口。
    • ​depends_on​: 指定 FastGPT 依赖的其他服务。
    • ​environment​: 设置环境变量，包括默认的 root 密码、API URL、API 密钥、数据库连接字符串等。
    • ​volumes​: 使用宿主机上的目录作为数据卷，加载配置文件。

  • 如果需要修改:

    • 若要更新镜像版本，需要修改 image​ 字段中的镜像标签。
    • 若要更改 API URL 或密钥，需要修改相应的环境变量。
    • 若要更改数据库连接字符串，需要修改 MONGODB_URI​ 和 PG_URL​ 环境变量。
    • 若要修改配置文件的位置，需要修改 volumes​ 中的宿主机目录。
MySQL (mysql)

  • 功能: MySQL 是一个流行的开源关系型数据库管理系统。

  • 配置项:

    • ​image​: 指定使用的 MySQL 镜像。
    • ​container_name​: 容器的名称。
    • ​ports​: 将容器的 3309 端口映射到宿主机的 3309 端口。
    • ​command​: 设置 MySQL 的启动选项。
    • ​environment​: 设置环境变量，包括 root 密码和默认数据库。
    • ​volumes​: 使用宿主机上的目录作为数据卷，持久化数据。

  • 如果需要修改:

    • 修改 root 密码需要更改 MYSQL_ROOT_PASSWORD​ 环境变量。
    • 修改数据库需要更改 MYSQL_DATABASE ​环境变量。
    • 若要更改数据持久化的目录，需要修改 volumes​ 中的宿主机目录。
OneAPI (oneapi)

  • 功能: 提供了一个 API 接口层，用于整合和管理不同的 AI 模型和服务。

  • 配置项:

    • ​image​: 指定使用的 OneAPI 镜像。
    • ​container_name​: 容器的名称。
    • ​ports​: 将容器的 3001 端口映射到宿主机的 3001 端口。
    • ​depends_on​: 指定 OneAPI 依赖的其他服务。
    • ​environment​: 设置环境变量，包括数据库连接字符串、加密密钥等。
    • ​volumes​: 使用宿主机上的目录作为数据卷，加载数据。

  • 如果需要修改:

    • 若要更新镜像版本，需要修改 image​ 字段中的镜像标签。
    • 若数据库配置修改，此处需要同步修改 SQL_DSN​ 环境变量。
    • 若要更改加密密钥，需要修改 SESSION_SECRET​ 环境变量。
    • 若要修改数据持久化的目录，需要修改 volumes​ 中的宿主机目录。
Ollama (ollama)

  • 功能: 提供了一个平台来运行和管理各种大型语言模型。

  • 配置项:

    • ​image​: 指定使用的 Ollama 镜像。
    • ​container_name​: 容器的名称。
    • ​ports​: 将容器的 11434 端口映射到宿主机的 11434 端口。
    • ​volumes​: 使用宿主机上的目录作为数据卷，加载模型文件。
    • ​restart​: 设置容器的重启策略。

  • 如果需要修改:

    • 若要更新镜像版本，需要修改 image​ 字段中的镜像标签。
    • 若要更改模型文件的位置，需要修改 volumes​ 中的宿主机目录。
    • 若要更改容器的重启策略，需要修改 restart​ 字段。
网络定义 (networks)

  • 功能: 定义了一个名为 fastgpt​ 的网络，使服务之间能够通信。

  • 配置项:

    • ​networks​: 定义了一个名为 fastgpt​ 的网络。

b. 部署完成后验证每个模块正常

检查容器列表 docker ps​:列出所有运行中的容器。需要七个容器都出现

​image​

i. docker 日志查看每个服务是否正常

命令为 docker logs <container_id>​,容器 id 可以通过 docker ps ​获取。比如这里调取了 fastgpt 的 log

​image​

ii. 验证每个数据库是否能够连接成功

这个项目用到了三个数据库：MySQL 与 oneapi 连接，存储 api 数据；PostgreSQL 存储向量化索引数据；MongoDB 存储对话信息，知识库内容等。

以下是连接方法：

1.首先通过命令行接入容器，以 mongodb 为例

docker-desktop 应用内点击 fastgpt 容器：

​image​

点击左侧的容器

​image​

点击 exec

​image​

linux 下，输入 docker exec -it <container_id/container_name> /usr/bin/bash​，获取 container_id 方式为输入 docker ps​

例如

​image​

2.通过下面的命令接入对应数据库并查看表内容。如果数据库名称/用户名称/密码有过修改，这里应当同步修改

mongo -u myusername -p mypassword --authenticationDatabase admin
show dbs
use fastgpt
show collections
db.<collection_name>.find({}).toArray()

psql -d postgres -U username
\dt
\d modeldata

mysql -u root -p  #oneapimmysql
USE oneapi;
SHOW TABLES;
DESCRIBE users;
SELECT * FROM users;

‍

iii. 验证有页面的每个服务是否能进行登录

fastgpt：http://localhost:3000/，初始用户 root，密码 1234

​image​

**oneapi：**​One API：初始用户名为 root，初始密码为 123456，第一次登录需要修改密码

​image​

CLAYo
关注
本地部署私人知识库的大模型！Llama 3 + RAG！
python12345678_的博客
07-11 2373
Llama 3 是由 Meta AI 开发的最先进的语言模型，擅长理解和生成类似人类的文本。凭借其令人印象深刻的自然语言处理能力，Llama 3 可以理解复杂的查询、提供准确的响应并参与与上下文相关的对话。它能够处理广泛的主题和处理效率，使其成为构建智能应用程序的理想选择。想测试Llama 3的威力吗？立即与 Anakin AI 聊天！（它支持任何可用的 AI 模型！什么是RAG？检索增强生成 （RAG） 是一种将信息检索和语言生成相结合以提高问答系统性能的技术。
5分钟手把手系列(二)：本地部署Graphrag（Pycharm+Ollama+LM Studio）
m0_65555479的博客
09-14 1393
通过搭建GraphRAG本地demo后，笔者通过少量的文本内容（三国演义第一章），初略对比了一下传统RAG方案与GraphRAG方案，基于少量文本内容而言，GraphRAG的效果还是符合其宣传内容的，后续更严谨的测试还是需要海量数据的进行验证。希望本文能帮助到对GraphRAG有兴趣的朋友，毕竟读万卷书不如行万里路，看再多的理论介绍，不如自己亲自去动手验证一把来的实在~
LLM之使用ollma本地搭建RAG系统
weixin_44598554的博客
07-29 348
我的是 ollama pull gemma2 或者 ollama pull qwen2:0.5b。选择一个down下来：ollama pull mxbai-embed-large。随后再输入 ollama serve，开启ollama。官网有介绍不同操作系统的下载方式。ollama的LLM模型选一个。然后输入ollama。
LLM+RAG助力企业智能问答工程化实践
m0_59164304的博客
07-04 645
在企业运营过程中，知识问答场景无处不在，需要快速、准确地提供相关信息，属于典型的“三高一低”
应用篇| 深入浅出LLM应用之RAG
2401_85379281的博客
06-18 972
虽然RAG能够快速解决LLM幻觉、新鲜度、以及数据安全性问题，但是RAG也有它的局限性，比如（1） 向量数据库是一个尚未成熟的技术，缺乏处理大量数据规模的通用方案，因此数据量较大时,速度和性能存在挑战。（2）在推理时需要对用户输入进行预处理和向量化等操作，增加了推理的时间和计算成本。（3）外部知识库的更新和同步，需要投入大量的人力、物力和时间。（4） 需要额外的检索组件，增加了架构的复杂度和维护成本。
【LLM大模型】基于LangChain构建RAG应用
2301_81888214的博客
07-09 1128
【LLM大模型】基于LangChain构建RAG应用
RAG实战：Ollama+MaxKB本地知识库部署
2401_85390073的博客
07-04 1410
相对来说，容易安装且功能较完善，30 分钟内即可上线基于本地大模型的知识库问答系统，并嵌入到第三方业务系统中。缺点是如果你的电脑配置不高，问题回答响应时间较长。
【LLM大模型】本地部署私人知识库的大模型！Llama 3 + RAG！
chengxuyuanyy的博客
08-30 916
Llama 3 是由 Meta AI 开发的最先进的语言模型，擅长理解和生成类似人类的文本。凭借其令人印象深刻的自然语言处理能力，Llama 3 可以理解复杂的查询、提供准确的响应并参与与上下文相关的对话。它能够处理广泛的主题和处理效率，使其成为构建智能应用程序的理想选择。想测试Llama 3的威力吗？立即与 Anakin AI 聊天！（它支持任何可用的 AI 模型！什么是RAG？检索增强生成 （RAG） 是一种将信息检索和语言生成相结合以提高问答系统性能的技术。
Langchain-Chatchat本地部署的解决方案
热门推荐
herosunly的博客
08-28 3万+
本文主要介绍了Langchain-Chatchat本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 启动xinference 4. 启动Langchain-Chatchat
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[3]-参数配置详细版
丨汀、的博客
06-17 458
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[3]-参数配置详细版
大模型应用一：RAG
u013250861的博客
11-09 981
LLM这一波，催生的技术真的很多，每一个环节，要真正做好，符合企业应用，都可以让我们研究好长一段时间，并需要不断去实践，才能打磨出精品。嗯，大模型这一波，我已经感觉到变化的发生了——了解大模型和不了解大模型的人，在AI的业务上的理解上，有某些角度来看，他们的区别真的就现代人类和史前人类一样巨大。于是，RAG被越来越多提到，包括开源的ChatPDF，也是RAG的一个经典应用。RAG最初是为了解决LLM的各类问题的（后面会提到）产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的解决方案。
Vector | Graph：蚂蚁首个开源Graph RAG框架设计解读
南七小僧的学海无涯
08-09 394
RAG的目标是通过知识库增强内容生成的质量，通常做法是将检索出来的文档作为提示词的上下文，一并提供给大模型让其生成更可靠的答案。更进一步地，RAG的整体链路还可以与提示词工程（Prompt Engineering）、模型微调（Fine Tuning）、知识图谱（Knowledge Graph）等技术结合，构成更广义的RAG问答链路。增强训练REALM引入了知识检索器增强大模型预训练，以改进大模型的问答质量和可解释性。增强微调RA-DIT实现了对大模型和检索器的双指令微调，RAFT。
从传统RAG到Graph RAG：知识图谱技术驱动下的链路转型与融合策略[DB-GPT、OpenSPG、Tugraph三合一]
丨汀、的博客
09-10 210
从传统RAG到Graph RAG：知识图谱技术驱动下的链路转型与融合策略
rhino grasshoper 框内物体排列（附视频）.gh
最新发布
10-18
【闭合线内物体按方向移动/排列】https://www.bilibili.com/video/BV1z1WfeSEWu?vd_source=b420114c993138474d2e93d83ead77a5
kwant-1.4.3-cp38-cp38-win_amd64.whl
10-18
kwant-1.4.3-cp38-cp38-win_amd64.whl
rhino grasshoper 景观椅（附视频）.gh
10-18
【rhino@grasshoper 曲线金属座椅景观案例（文件获取/见简介）】https://www.bilibili.com/video/BV1Dx4y147Lr?vd_source=b420114c993138474d2e93d83ead77a5
PCIe通义万问系列文档的第一部已整理完毕，含999个PCIe相关问答
10-18
《PCIe通义万问》系列文档旨在记录PCIe相关行业工程师们在PCIe协议学习、IP设计验证、产品测试及使用过程中遇到的问题、迸发的思考、进行的探讨及可能的解决方案，以期给遇到相同相似问题的同行们些许启发。文档涉及的技术方向主要为PCIe，也包含PCIe相关的CXL、UCIe及计算机体系结构相关内容。 本文档是《PCIe通义万问》系列文档之（一），含999个问题。问题内容有以下三个来源：MangoPapa（下称博主）的“PCIe每日一问一答”系列专栏；博主的博文留言及私信讨论；博主作为群主的“PCIe技术交流群”群聊内容。MangoPapa小助理、折叠、先杰、CR小队长、kangling共同完成了问答内容提取与归纳整理，噫嘘唏及慕荷负责文辞优化及编辑排版，上述人员及MangoPapa、JasonW、皮塞阿姨、席可儿参与了文档内容的审校。感谢以上人员的无私奉献。 本文档仅对讨论内容进行总结记录，不保证问题答案的正确性，部分问题只提供解决思路或讨论过程。术业有专攻，文内定有偏颇。如您发现谬误，一敬希原宥，二望乞点拨；如您持异见，欢迎来信讨论。如有需要，欢迎联系MangoPapa加入相关
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值