GRPS-易用的深度学习模型部署框架

置顶 已于 2024-07-17 16:15:04 修改
阅读量590 收藏 20
点赞数 29
分类专栏： 深度学习 文章标签： 深度学习 tensorflow pytorch 人工智能
于 2024-07-07 15:39:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zcc450959507/article/details/140246653
版权

4df142c518dd44e09d99a61ddfe16f09.png

前述

在我们的新闻推荐业务中，除推荐模型外还有很多cv、nlp、llm模型，例如对推荐内容进行理解、分类、实体识别、生成标签、生成embedding向量或生成自然语言回答等场景。这些模型经常需要进行独立部署提供服务。以往每个模型是自己搭建一个http服务，这存在很多问题：

  • 没有统一服务框架和指标监控框架，代码比较随意。
  • 性能一般较差，包括接口层以及推理层。
  • 服务不稳定，经常会发生重启现象。
  • 高显存低GPU使用率问题。
  • 另外由于GPU资源限制，qps规模不是很大的模型需要通过共享的方式共享所有的GPU，因此出现了很多显存无限增长导致的显存溢出、服务发布容易失败的问题。

为此我们开发了一套通用的模型推理服务框架。（帮忙点一个star就是最好的鼓励^_^）GRPS（Generic Realtime Prediction Service）icon-default.png?t=N7T8https://github.com/NetEase-Media/grps

支持tensorflow/torch/tensorrt/vllm以及更多nn框架，支持dynamic batching、streaming模式，可限制、可拓展、高性能。核心目的是帮助用户快速搭建一个稳定的较好性能的在线模型推理服务，将模型部署到线上生产环境，并通过HTTP/RPC接口方式提供服务。

特性

易用

内置tensorflow、torch以及tensorrt以及扩展更多模型推理后端，可以实现一键快速部署服务，自定义拓展简单，支持Python与C++编程语言。
通过简单的命令（tf_serve/torch_serve/trt_serve）即可快速启动一个tf、torch、trt模型服务，快捷启动方式启动的服务由纯C++实现。例如通过如下命令即可启动一个torch resnet-50模型。

# 使用默认参数启动服务
grpst torch_serve ./resnet50_pretrained.pt

# 使用grpst ps查看服务状态
grpst ps
# 输出如下：
PORT(HTTP,RPC)      NAME                PID                 DEPLOY_PATH
7080,7081           my_grps             138949              /root/.grps/my_grps

并且通过命令可以方便的设置接口模式、服务限制（显存限制、并发限制）、打开dynamic batching模式、设置端口号、选择GPU卡、以及日志路径等：

# 指定参数启动
grpst torch_serve /tmp/script_model.pt \  # 模型文件路径
    --name my_grps \  # 设置服务名称
    --interface_framework http+grpc \  # 设置接口模式，同时打开http和grpc接口模式
    --port 7080,7081 \  # 设置http和grpc接口的端口号
    --device gpu:4 \  # 设置模型运行的设备类型
    --batching_type dynamic \ # 打开dynamic batching模式
    --max_batch_size 16 \ # 设置dynamic batching max batch size为16
    --batch_timeout_us 2000 \ # 设置batching组装超时时间为2ms
    --max_connections 100 \  # 设置最大连接数
    --max_concurrency 10 \  # 设置最大推理并发数
    --gpu_mem_limit_mib 4096 \  # 设置模型运行的显存限制
    --gpu_mem_gc_enable \  # 设置开启显存定时垃圾回收
    --gpu_mem_gc_interval 60 \  # 设置显存定时垃圾回收的时间间隔，单位为秒

自定义拓展

用户可以自定义自己的前后处理、模型推理，提供py和c++两种编程语言自定义工程。通过如下命令快速创建自定义工程：

# 创建自定义工程
grpst create my_grps

# 选择自定义工程模板，如下提示，也可以直接使用--project_type参数指定。
Select project type.
[1] "py": python project with pytorch and tf support.
[2] "cpp": c++ project without libtorch and libtf support.
[3] "cpp_torch": c++ project with libtorch support.
[4] "cpp_tf": c++ project with libtf support.
[5] "cpp_trt": c++ project with libtensorrt support.
Please input number(1-5), default is "1":

 py工程核心自定义：

# 前处理
def preprocess(self, inp: GrpsMessage, context: GrpsContext):
	pass
# 后处理
def postprocess(self, inp, context: GrpsContext) -> GrpsMessage:
  	pass
# 推理
def infer(self, inp, context: GrpsContext):
  	pass

c++工程核心自定义：

// 前处理
void PreProcess(const ::grps::protos::v1::GrpsMessage& input,
                std::vector<std::pair<std::string, TensorWrapper>>& output,
                GrpsContext& ctx) override;
// 后处理
void PostProcess(const std::vector<std::pair<std::string, TensorWrapper>>& input,
                 ::grps::protos::v1::GrpsMessage& output,
                 GrpsContext& ctx) override;
// 推理
void Infer(const std::vector<std::pair<std::string, TensorWrapper>>& inputs,
           std::vector<std::pair<std::string, TensorWrapper>>& outputs,
           GrpsContext& ctx) override;

通过如下命令进行快速打包与部署：

# 打包会首先执行单测，单测通过后才会打包
grpst archive .

# 启动服务
grpst start server.mar

# 使用grpst ps查看服务状态
grpst ps
# 输出如下：
PORT(HTTP,RPC)      NAME                PID                 DEPLOY_PATH
7080,7081           my_grps             138949              /root/.grps/my_grps

Batching模式支持

b68eb61a27df43149baf8042616c7f12.png

支持dynamic batching，充分利用GPU资源，提高推理性能。dynamic batching模式下，对于请求不会立即处理，而是通过动态组装batch tensor的方式合并请求进行一次模型推理，这样可以充分使用GPU计算资源，对于吞吐量的提升比较明显。
以resnet-50模型为例，在K80 GPU上的测试数据如下： 

8915c7c9227d4932891ba8b71e3f6f03.png

 在较小的并发情况下由于batch组装的影响会略微影响性能，在并发较大时组装batch耗时可以忽略，dynamic batching模式对性能和吞吐量提升很大，8并发之后大致可以获得30%+的提升。

Tensorrt多流支持

内置tensorrt推理后端支持多流配置，通过创建多个tensorrt context以及stream进行并行多stream推理，可以更好的利用CUDA多流推理的机制，提高GPU使用率以及推理性能。

4d5260af20ac4c46b11e6ed633744ab7.png

# trt_serve 快捷部署参数
--streams 4 # 打开多流配置可以提高GPU使用率以及推理性能，相应也会增加GPU显存占用。

# 自定义工程配置(inference.yml)
models:
  - name: your_model
    ...
    inferer_type: tensorrt
    ...
	inferer_args:
  		streams: 4
    ...

以resnet-50模型为例，在K80 GPU上的测试数据如下：

LLM支持

目前通过自定义后端插件方式支持vllm，见vllm样例，通过LLMEngine Api实现vllm推理后端，同vllm-api-server相比较服务性能有所提升，例如通过THUDM/chatglm3-6b做测试。

可限制

通过配置化方式可以实现tf和torch显存限制功能，适用于共享GPU场景，很好的解决了由于共享GPU导致的显存无限增长，发布困难等问题。也可以限制服务的请求并发度，对于限制服务的CPU使用率、GPU使用率、以及主机内存都有较好的帮助。例如：

# tf_serve/torch_serve/trt_serve 快捷部署参数
--max_connections 100
--max_concurrency 10
--gpu_mem_limit_mib 4096

# 自定义工程配置(server.yml)
max_connections: 1000
max_concurrency: 32
gpu:
  devices: [0]
  mem_manager_type: torch
  mem_limit_mib: 4096

可监控

提供用户日志系统，内置指标监控系统，内置简洁的web图形展示页面。服务启动后会自动启动一个内置monitor服务，通过访问服务的http根路径即可访问，monitor页面可以看到服务指标的变化，例如qps、latency、GPU使用率、GPU显存、CPU使用率与内存占用率等。用户也可以通过monitor api拓展自己的指标。
变化趋势：

0f2cce25cf8e4d9798e221be0ee8b960.png

cdf展示： 

23bd2f21404d4f2889c9a6c08a0b8c39.png

灵活访问方式 

自动适配http、gRPC、bRPC访问方式，提供py、c++、java等客户端样例。例如通过如下配置可以修改服务接口模式：

# tf_serve/torch_serve/trt_serve 快捷部署参数
--interface_framework http+grpc

# 自定义工程配置(server.yml)
interface:
  framework: http+grpc
  host: 0.0.0.0
  port: 7080,7081

Streaming模式支持

支持模型持续推理并通过streaming的方式返回结果给客户端，适用于自然语言生成、视频处理等场景。例如如下http streaming返回样例：

b'{\n "status": {\n  "code": 200,\n  "msg": "OK",\n  "status": "SUCCESS"\n },\n "str_data": "this process"\n}\n'
b'{\n "status": {\n  "code": 200,\n  "msg": "OK",\n  "status": "SUCCESS"\n },\n "str_data": "cause"\n}\n'
b'{\n "status": {\n  "code": 200,\n  "msg": "OK",\n  "status": "SUCCESS"\n },\n "str_data": "dog"\n}\n'

多模型支持

支持部署多个模型，多个模型可以组合成一个服务或者单独提供服务。通过如下参数进行选择模型：

# http接口通过query参数model选择模型：
curl -X POST -H "Content-Type:application/json" -d '{"str_data": "hello grps"}' 'http://ip:port/grps/v1/infer/predict?model=your_model-1.0.0'

# rpc接口通过请求消息的model参数选择模型：
{
  "model": "your_model-1.0.0",
  "str_data": "hello grps"
}

通过如下方式也可以组合模型提供服务：

# inference.yml
dag:
  type: sequential # only support `sequential` now.
  name: your_dag # dag name.
  nodes: # sequential mode will run node in the order of nodes.
    - name: node-1
      type: model
      model: your_model-1.0.0
    - name: node-2
      type: model
      model: your_model2-1.0.0

多卡支持

支持配置方式选择gpu部署模型，支持监控多gpu使用情况。例如如下配置：

# inference.yml配置模型部署在哪个设备上。
models:
  - name: your_model
    version: 1.0.0
    device: cuda:0 # device of model inferer. like `cpu`, `cuda`(==`cuda:0`), `gpu`(==`cuda:0`), `cuda:0`, `gpu:0`, `original`(original device specified when exported model).

# server.yml可以配置监控多个GPU使用情况，包含GPU使用率或GPU显存。
gpu:
  devices: [0] # Devices will be monitored.

业务价值

服务上线更快

算法开发同事只需集中精力关注具体模型部分的训练和推理开发，不需要再关注服务框架相关的代码开发，例如接口层、日志层、监控层等，统一规范服务部署流程，使得模型服务部署周期更短。

工程代码更加规范

以往不同模型服务的代码各自开发，代码质量参差不齐。GRPS通过统一的模板工程以及规范化模型部分代码开发使得自定义开发代码更加规范，代码阅读和分析更加高效。
对于自定义开发，用户只需要关心模型前后处理（抽象为converter）以及模型推理（抽象为inferer）部分的代码开发。他们之间的关系如下：

6786fadbb7ad424b9698af4b03ffe14c.png

Python自定义开发模板如下：

|-- client                                      # 客户端样例
|-- conf                                        # 配置文件
|   |-- inference.yml                           # 推理配置
|   |-- server.yml                              # 服务配置
|-- data                                        # 数据文件
|-- docker                                      # docker镜像构建
|-- src                                         # 自定义源码
|   |-- customized_converter.py                 # 自定义前后处理转换器
|   |-- customized_inferer.py                   # 自定义推理器
|-- grps_framework-*-py3-none-any.whl           # grps框架依赖包，仅用于代码提示
|-- requirements.txt                            # 依赖包
|-- test.py                                     # 本地单元测试

C++自定义开发模板：

|-- client                              # 客户端样例
|-- conf                                # 配置文件
|   |-- inference.yml                   # 推理配置
|   |-- server.yml                      # 服务配置
|-- data                                # 数据文件
|-- docker                              # docker镜像构建
|-- second_party                        # 第二方依赖
|   |-- grps-server-framework           # grps框架依赖
|-- src                                 # 自定义源码
|   |-- customized_converter.cc/.h      # 自定义前后处理转换器
|   |-- customized_inferer.cc/.h        # 自定义推理器
|   |-- grps_server_customized.cc/.h    # 自定义库初始化
|   |-- main.cc                         # 本地单元测试
|-- third_party                         # 第三方依赖
|-- build.sh                            # 构建脚本
|-- CMakelists.txt                      # 工程构建文件
|-- .clang-format                       # 代码格式化配置文件
|-- .config                             # 工程配置文件，包含一些工程配置开关

模型服务性能提升

接入框架的服务从并发性和接口优化等层面的优化，性能提升比较明显。
例如接入的nlp三俗服务rt对比：

ea4fb2ac22fe4cd59d4b1445274380c8.png

接入后rt更趋于稳定：

8a1925c2b64648ada82af6def82097b9.png

资源节省 

由于服务性能以及吞吐量提升明显，所以对于资源的节省帮助比较明显。例如一个cv视频特征服务所需资源从15个减少为2个即可满足服务。

模型服务稳定性提升

以往的服务由于代码质量参差不齐以及PyTorch自带的内存泄露问题导致有很多服务重启的问题，GRPS通过统一的框架解决内存泄露问题，以及最小化用户自定义开发使得服务稳定性更有保障。很多服务接入GRPS后重启问题基本没有再出现。

与Triton

早期有调研过triton引入到业务，但是有一些特性不太能直接满足整体的需求，例如

  • 接口层输入输出格式需要更加的自由，二进制文件以及任意字符串的格式，甚至接口层的输入输出需要可以支持完全自定义以便早期迁移大量存量的模型服务。
  • 另外需要引入整体的显存和服务限制的功能以解决在共享GPU场景大量服务存在的高显存低使用率的共性问题。
  • GRPS花了不少心思与做了不少工作在方便于用户进行自定义拓展上，包含前后处理以及模型推理部分都可以进行自定义拓展，支持python与C++双语言，使得自定义拓展更简单。我们内部的服务其实绝大部分是以自定义拓展方式进行了引入。
  • 可拓展的监控系统的引入以便用户在一个地方能够了解整体服务的指标，包含qps、latency、GPU与CPU的内存占用和使用率等。
  • 标准化服务Docker构建与部署的CICD流程。

Triton支持的功能很多很强大，我们一些地方进行了借鉴，早期GRPS框架比较简单，随着业务的引入加入了更多的功能。当然LLM方面Triton做的比较完善我们内部的LLM服务目前也是引入Triton+Trtllm进行部署。后续也在计划考虑trtllm以插件的方式引入到GRPS框架。 

TODO

框架在持续开发中，计划在未来版本支持：

  • 支持更多的推理后端，例如onnx-runtime、tensorrt-llm等。
  • 支持更多batching算法，例如continuous batching。
  • 支持分布式组装服务，由多个推理后端组装成完整服务。
  • 模型推理性能分析工具。

（git上点一个star就是最好的支持，感谢^ ^）

zcc450959507
关注
  • 29
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
quartz学习-quartz框架依赖表脚本
Destiny宿命的博客
08-17 1253
/* Navicat MySQL Data Transfer Source Server : local_mysql Source Server Version : 50537 Source Host : localhost:3306 Source Database : quartz_test Target Server Type : M...
4-SSM框架下定时任务调度的实现
敲代码的熙爷
12-28 5960
今天想跟大家分享的是在ssm框架下实现任务调度的实现方式。因为在我们实际的项目中，很多时候会使用到一些定时器，比如邮件汇总、报表汇总这样的业务场景。那在ssm框架下有什么方式实现呢？
若依框架---部署到虚拟机
02-21 926
若依框架部署
模型部署 - onnx 的导出和分析 - PyTorch 导出 ONNX - 学习记录
点云算法工程师
03-03 2593
上面是 onnx 可以直接被导出的情况，是因为对应的 pytorch 和 onnx 版本都有相应支持的算子在里面。与上面例子不同的是，这个注册方式跟底层文件的写法是一样的（文件在虚拟环境中的 torch/onnx/symbolic_opset*.py ）比如下面的这个报错，提示当前 onnx 的 opset 版本不支持这个算子，那我们可以去官方手册搜索一下是否在高的版本支持了这个算子。有些算子在 onnx 中是有的，但是在 pytorch 中没被登记，则需要。（实际上就是一个矩阵乘法）
2. onnx 模型部署进阶
YXD0514的博客
08-13 600
TorchScript 是一种序列化和优化 PyTorch 模型的格式，在优化过程中，一个torch.nn.Module 模型会被转换成 TorchScript 的 torch.jit.ScriptModule 模型。现在，TorchScript 也被常当成一种中间表示使用。 torch.onnx.export 中需要的模型实际上是一个 torch.jit.ScriptModule。而要把普通 PyTorch 模型转一个这样的 TorchScript 模型，有跟踪（trace）和记录（
深度学习模型部署学习四
weixin_51179742的博客
07-19 2201
在 PyTorch 中支持更多 ONNX 算子
Azkaban学习——单机版安装与部署
雷神乐乐的博客
05-12 817
Azkaban学习——单机版安装与部署
JEECG容器化部署
知行合一 止于至善
06-04 1548
JEECG代码中有一个Dockerfile，基本思路是以CentOS为基础镜像，在其中安装了nginx、jdk、mysql和redis，将编译出来的前端文件拷贝至nginx的指定目录，后端的jar文件放至根目录，并生成nginx的配置文件和脚本启动文件，在脚本启动文件中启动redis、nginx和java -jar的后端服务，这篇文章将MySQL和Redis拿出来，作为容器化部署的一种粗糙的解决方式。
Spring Boot 整合 Quartz - 作业调度框架
yy139926的博客
11-18 931
Quartz 是一个定时任务调度框架，简单易用，功能强大可以使实现定时任务的。
cryptographic-private-grps
05-18
加密专用组 ＃＃＃这个怎么运作： ... 生成非对称密钥 使用公开密钥向FRF发布 将帖子ID发送到服务器。 服务器接受帖子并将用户与密钥相关联 服务器将加密的写令牌发送到客户端 客户端删除该帖子，然后将加密的私钥发送...
行业分类-设备装置-UMTS或GRPS通信网络告知业务平台当前无线承载信息的方法.zip
08-22
标题中的“行业分类-设备装置-UMTS或GRPS通信网络告知业务平台当前无线承载信息的方法”揭示了本文档的核心内容，它涉及到通信技术领域，特别是UMTS（Universal Mobile Telecommunications System，全球移动通信系统...
SIM900四频GSM/GRPS开发板，附原理图/PCB/GPRS库-电路方案
04-21
本设计分享的是基于SIM900四频GSM/GRPS开发板，见附件下载其原理图/PCB/GPRS库。该SIM900四频GSM/GRPS开发板是一个支持mbed的开发板，其中包含蜂窝网络模块以及微控制器，使用LPC11U37微控制器而不是LPC11U24。您...
ioLogik W5340 GRPS RTU在供水管线监测中应用
10-22
在配水系统的最优化设计中，用简约梯度法求得凹函数f（q）的约束最小值，通过以后的计算可得到全域最小值。根据最优化水头损失（h）可求得最优化管径，并以极限经济流量来制约标准管径。这一最优化技术适用于管网中...
quartz-2.2.3版本的quartz初始化sql语句
08-25
Quartz是一款广泛使用的开源任务调度框架，它允许开发者在Java应用程序中定义和执行定时任务。在Quartz 2.2.3版本中，初始化数据库是使用Quartz的关键步骤，因为Quartz依赖于一个持久化存储来保存作业和触发器的信息...
基于深度学习的放射学图像分析
weixin_42605076的博客
07-22 725
基于深度学习的放射学图像分析是利用深度学习模型来自动分析和解读医学影像（如X光片、CT、MRI等），辅助医生进行疾病诊断、治疗计划制定和预后评估。
昇思25天学习打卡营第20天 | LSTM+CRF序列标注
嫦娥妹妹等等我的博客
07-21 374
在自然语言处理（NLP）的领域中，序列标注是一个基础且关键的任务，涉及到从文本数据中提取有用信息，如命名实体识别（NER）、词性标注（POS）等。本次学习重点是探索如何结合长短时记忆网络（LSTM）和条件随机场（CRF）来执行序列标注任务，尤其是在命名实体识别上的应用。
昇思学习打卡-25-自然语言处理/RNN实现情感分类
weixin_42630613的博客
07-23 829
昇思学习打卡-RNN实现情感分类
基于深度学习的社交网络分析
最新发布
weixin_42605076的博客
07-25 647
基于深度学习的社交网络分析（Social Network Analysis, SNA）是利用深度学习技术对社交网络中的结构、模式和用户行为进行分析和理解。这一领域广泛应用于用户推荐、情感分析、社区检测、信息传播和隐私保护等方面。
k8s中配置gRPS探针的配置
07-28
在Kubernetes中配置gRPC探针需要做以下步骤： 1. 创建gRPC服务和健康检查方法：首先，你需要在你的应用程序中创建一个gRPC服务，并实现一个健康检查方法，该方法可以返回一个表示应用程序健康状态的gRPC响应。 2. 创建gRPC探针配置文件：创建一个YAML或JSON格式的配置文件，用于定义gRPC探针的相关参数。配置文件中应包含以下信息： - `initialDelaySeconds`：探针启动前的等待时间，以秒为单位。 - `periodSeconds`：探针的调用频率，以秒为单位。 - `timeoutSeconds`：探测请求超时时间，以秒为单位。 - `successThreshold`：探测成功的连续次数。 - `failureThreshold`：连续失败的探测次数。 示例配置文件如下所示： ```yaml apiVersion: v1 kind: Pod metadata: name: grpc-pod spec: containers: - name: grpc-container image: your-image readinessProbe: tcpSocket: port: 50051 initialDelaySeconds: 5 periodSeconds: 10 timeoutSeconds: 5 successThreshold: 1 failureThreshold: 3 ``` 在上述示例中，我们使用了TCP探针来检查gRPC服务的健康状态。你可以根据实际情况选择其他探针类型，如HTTP探针或命令探针。 3. 应用配置文件：在你的Kubernetes配置文件中，将上述gRPC探针配置文件添加到适当的位置。确保将其与容器的相关信息关联起来，以便Kubernetes可以正确调用和监控gRPC探针。 ```yaml apiVersion: v1 kind: Pod metadata: name: grpc-pod spec: containers: - name: grpc-container image: your-image ports: - containerPort: 50051 readinessProbe: tcpSocket: port: 50051 initialDelaySeconds: 5 periodSeconds: 10 timeoutSeconds: 5 successThreshold: 1 failureThreshold: 3 ``` 4. 应用配置文件部署：使用kubectl或其他部署工具将配置文件应用到Kubernetes集群中。 以上是在Kubernetes中配置gRPC探针的基本步骤。你可以根据实际需求和应用程序的特点进行相应的调整和配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值