毕昇的部署

最新推荐文章于 2024-06-25 17:50:23 发布

qq_43217231

最新推荐文章于 2024-06-25 17:50:23 发布

阅读量945

点赞数 24

文章标签：语言模型

本文链接：https://blog.csdn.net/qq_43217231/article/details/138160961

版权

毕昇官方文档：https://dataelem.feishu.cn/wiki/ZxW6wZyAJicX4WkG0NqcWsbynde

一、bisheng本体部署

环境和配置

1. 平台各组件关系

在这里插入图片描述

2. 操作系统

CentOS/RedHat Enterprise Linux 的 7.x版本或 8.x版本
银河麒麟高级服务器操作系统V10
Ubuntu Server(我使用的WSL2 Ubuntu 18.04.6 LTS)

3.硬件

最低配置

CPU: 20C

**内存 😗*256G

**系统盘 :512G SSD数据盘 2T SATA（取决于数据量）

显卡: NVIDIA A10*2 （FP16 可以起4个7B模型实例或 2个13B模型实例。最低一张显卡也行，起的模型实例数相应减少，推荐A10或3090或更好的显卡）

推荐配置

CPU: 48C

内存: 512G

系统盘: 512G SSD数据盘 5T SATA*（取决于数据量）*

显卡: NVIDIA A104（FP16 可以起8个7B模型实例或 4个13B模型实例。推荐A10或3090或更好的显卡）

4. 客户端浏览器

建议使用最新版浏览器，以免功能无法正常使用；毕昇平台内含有文件溯源展示、word在线编辑功能，需要高级浏览器提供底层能力支持，chrome 建议至少 v92+

快速部署

1.基础环境安装

安装docker、docker-compose、NVIDIA Container Toolkit（具体可以参考官方文档，或者寻找教程）

2.下载毕昇代码

# 如果系统中有git命令，可以直接下载毕昇代码
git clone https://github.com/dataelement/bisheng.git
# 进入安装目录
cd bisheng/docker

# 如果系统没有没有git命令，可以下载毕昇代码zip包
wget https://github.com/dataelement/bisheng/archive/refs/heads/main.zip
# 解压并进入安装目录
unzip main.zip && cd bisheng-main/docker

3.部署毕昇核心服务

毕昇核心服务包括：mysql、redis、elastichsearch、onlyoffice、milvus（包括milvus依赖的minio、etcd）、bisheng-backend、bisheng-frontend

# 进入bisheng/docker或bisheng-main/docker目录，执行
docker-compose up -d

（注：默认会从docker hub上下载所需的镜像，如果网络访问docker hub存在困难，可以从毕昇提供的镜像仓库下载镜像：

# 登陆到毕昇提供的私有镜像仓库 docker login cr.dataelem.com -u docker -p dataelem）

在这里插入图片描述

4.毕昇核心服务配置修改

动态配置

在这里插入图片描述

知识库相关配置、大模型相关配置、登录配置等都在这（具体参见官方文档->本地化部署->毕昇核心服务配置修改）

二、bisheng-rt及bisheng-ft部署（大模型管理和微调）

bisheng-rt部署

注：如果使用wsl2，部署后因为镜像里有使用gpu需要的文件，而wsl2会默认从windows里写入并且如果已经有了那几个文件就会报错（使用虚拟机或者本来就是linux系统则没有问题）

0.模型文件下载

bisheng-rt服务运行需要模型文件，主要是embedding模型和大语言模型，下载模型请参考开源模型下载

一般需要至少下载1个embedding模型和1个大语言模型放在bisheng-rt中上线运行（知识库需要）。模型上线参数配置请参考模型管理

如果不修改docker-compose-model.yml中的模型目录的话，请将下载的模型放在bisheng/docker/data/llm目录下。如果模型文件放在其他目录位置，请修改docker-compose-model.yml中bisheng-rt、bisheng-rt-ent、bisheng-ft三个服务中挂载的大模型目录。

1.启动前修改docker-compose-model.yml

从官方文档->本地化部署->快速部署毕昇模型服务（可选）->毕昇模型服务说明->毕昇模型服务docker-compose-model.yml文件说明中复制即可

2.仅启动bisheng-rt

# 进入bisheng/docker或bisheng-main/docker目录，执行
docker-compose -f docker-compose-model.yml up bisheng-rt -d

3.bisheng-rt配置说明（使用开源模型，无需License）

bisheng-rt服务是毕昇平台模型管理功能对应的服务后端，提供本地模型的推理计算能力，需要部署在有计算卡的机器上，当前支持Nvidia GPU、昇腾Atlas300I Pro、寒武纪MLU370系列的计算卡。

bisheng-rt是可选服务，本地部署运行bisheng-rt需要下载bisheng-rt的容器镜像、各种模型文件，并且需要部署GPU的驱动和运行环境，有一定的复杂性。如果想快速体验毕昇能力或本地不具备运行模型服务条件，可以****无需部署bisheng-rt服务，直接使用在线的模型服务（使用方法参考：ChatOpenAI或者OnlineChat系列)

如果本地已经部署了类似bisheng-rt功能的大模型服务，例如直接使用开源的推理框架运行大模型服务（如vllm、FastChat、TGI、TensorRT-LLM等），也可以不用部署bisheng-rt，直接通过CustomLLMChat 组件接入其他本地化部署的大模型服务。

4.模型服务上线

登陆毕昇页面，在“模型”页面，点击右上角“服务管理”按钮，点击“创建”，“服务名”可自行定义，在“RT服务地址”中输入 xx.xx.xx.xx:9001（xx.xx.xx.xx为运行bisheng-rt服务的IP地址，bisheng-rt默认通过9001端口提供服务）。添加成功后，“模型”页面中会显示/models目录中已有的模型目录名称。

在这里插入图片描述

模型服务上线具体操作方法见官方文档模型管理

bisheng-ft部署

bisheng-ft模块可以实现大模型微调能力，提高模型在具体业务场景的效果。

如下图所示，若是单机部署，则RT与FT部署在单台机器即可；若是多台服务器，可以考虑把训练和推理分开，不需要每台服务器都部署FT，可以在有FT的服务器上进行训练，训练完成并测试效果达标后，再将训练后的模型传到其他推理机器的模型仓库中上线使用。

在这里插入图片描述

bisheng-ft的运行依赖redis服务，默认会连接本机部署的毕昇核心服务中的redis。如需连接其他redis服务，可以修改bisheng-ft/config.yaml配置文件，将bisheng-redis修改为另外运行redis服务的机器IP地址。

# 进入bisheng/docker或bisheng-main/docker目录，执行
docker-compose -f docker-compose-model.yml up bisheng-rt bisheng-ft -d

注意：bisheng-ft需要用到端口8000不能被占用，否则需要自行修改源码，然后重构docker

三、bisheng开发环境部署

-compose -f docker-compose-model.yml up bisheng-rt bisheng-ft -d


注意：bisheng-ft需要用到端口8000不能被占用，否则需要修改源码，然后重构docker

# 三、bisheng开发环境部署

github上都能找到源码，bisheng前后端在bisheng/src下，其他直接搜对应名字即可（例如bisheng-rt，另外bisheng-ft的dockerfile在docker目录下名字改成Dockerfile再放到根目录下即可用来构建docker镜像）