RAG-Flow部署本地微调过的模型使用

在Ubuntu服务器上启动RAGFlow服务器

在这篇博客中，我们将介绍如何在Ubuntu服务器上启动RAGFlow服务器。我们将确保系统配置满足RAGFlow的要求，然后通过Docker Compose来启动服务器。

先决条件

在开始之前，请确保您已经安装了以下软件：

• Docker
• Docker Compose
• Git

如果您还没有安装这些软件，可以参考以下链接进行安装：

• Docker 安装指南
• Docker Compose 安装指南
• Git 安装指南

配置系统参数

RAGFlow要求vm.max_map_count的值不小于262144。首先，我们需要确认当前系统的vm.max_map_count值，并根据需要进行调整。

确认 vm.max_map_count 的大小

打开终端并运行以下命令：

sysctl vm.max_map_count

如果输出的值小于262144，我们需要进行调整。

临时设置 vm.max_map_count

运行以下命令将vm.max_map_count的值设置为262144：

sudo sysctl -w vm.max_map_count=262144

永久设置 vm.max_map_count

要使设置在系统重启后仍然有效，需要编辑/etc/sysctl.conf文件。

使用以下命令编辑文件：

sudo nano /etc/sysctl.conf

在文件末尾添加以下行：

vm.max_map_count=262144

保存文件并退出编辑器。

克隆RAGFlow仓库

接下来，我们将克隆RAGFlow的Git仓库。

运行以下命令克隆仓库：

git clone https://github.com/infiniflow/ragflow.git

进入docker目录：

cd ragflow/docker

启动RAGFlow服务器

我们将使用提前编译好的Docker镜像来启动服务器。

赋予执行权限

运行以下命令赋予entrypoint.sh脚本执行权限：

chmod +x ./entrypoint.sh

配置Docker Compose文件

如果您想运行特定版本的RAGFlow Docker镜像，请在docker/.env文件中找到RAGFLOW_VERSION变量，并将其设置为对应的版本号。例如：

RAGFLOW_VERSION=v0.7.0

启动服务器

运行以下命令启动服务器：

docker compose -f docker-compose-CN.yml up -d

注意，运行上述命令会自动下载RAGFlow的开发版本Docker镜像。镜像文件大约9GB，下载过程可能需要一些时间，请耐心等待。

确认服务器状态

服务器启动成功后，您可以通过以下命令查看服务器日志，确认服务器是否正常运行：

docker logs -f ragflow-server

出现以下界面提示说明服务器启动成功：

    ____                 ______ __
   / __ \ ____ _ ____ _ / ____// /____  _      __
  / /_/ // __ `// __ `// /_   / // __ \| | /| / /
 / _, _// /_/ // /_/ // __/  / // /_/ /| |/ |/ /
/_/ |_| \__,_/ \__, //_/    /_/ \____/ |__/|__/
              /____/

 * Running on all addresses (0.0.0.0)
 * Running on http://127.0.0.1:9380
 * Running on http://x.x.x.x:9380
 INFO:werkzeug:Press CTRL+C to quit

启动Xinference 部署本地模型

Xinference是一款利用GPU加速推理的强大工具。本篇博客将指导您如何在安装了CUDA的机器上正确配置并启动Xinference Docker容器。

准备工作

启动Xinference容器

使用以下命令启动Xinference容器，将9997端口映射到宿主机的9998端口，并指定日志级别为DEBUG：

docker run \
  -v /data1:/data1 \
  -p 9997:9997 \
  --gpus all \
  xprobe/xinference:v<latest> \
  xinference-local -H 0.0.0.0

参数说明

• -p 9998:9997: 将容器内的9997端口映射到宿主机的9998端口。
• --gpus all: 使用所有可用的GPU。
• xprobe/xinference:v<your_version>: 指定镜像版本，将<your_version>替换为实际版本号。
• xinference-local -H 0.0.0.0 --log-level debug: 启动Xinference服务并设置日志级别为DEBUG。

警告

• --gpus 参数必须指定，因为镜像需要运行在有GPU的机器上，否则会出现错误。
• -H 0.0.0.0 参数也必须指定，否则在容器外无法连接到Xinference服务。
• 可以指定多个-e选项设置多个环境变量。

在网页端注册本地模型

在网页端运行模型