PaddleOCR基于PaddleServing的服务部署(docker环境)

1 基于PaddleServing的服务部署

本文档将介绍如何使用PaddleServing工具部署PPOCR
动态图模型的pipeline在线服务。

相比较于hubserving部署,PaddleServing具备以下优点:

  • 支持客户端和服务端之间高并发和高效通信
  • 支持 工业级的服务能力 例如模型管理,在线加载,在线A/B测试等
  • 支持 多种编程语言 开发客户端,例如C++, Python和Java

更多有关PaddleServing服务化部署框架介绍和使用教程参考文档

2 环境准备

需要准备PaddleOCR的运行环境和Paddle Serving的运行环境。
可以参考:https://blog.csdn.net/weixin_43702146/article/details/122229227

  • 准备PaddleOCR的运行环境链接
    根据环境下载对应的paddle whl包,推荐安装2.0.1版本

  • 准备PaddleServing的运行环境

2.1 准备PaddleOCR的运行环境

2.1.1 docker基础镜像拉取

docker镜像地址:
https://github.com/PaddlePaddle/Serving/blob/develop/doc/Docker_Images_CN.md

# 首次运行需创建一个docker容器,再次运行时不需要运行当前命令
# 如果使用CUDA10,请运行以下命令拉取容器
# 如果是CUDA11+CUDNN8,推荐使用镜像registry.baidubce.com/paddlepaddle/paddle:2.1.3-gpu-cuda11.2-cudnn8
docker pull registry.baidubce.com/paddlepaddle/paddle:2.1.3-gpu-cuda10.2-cudnn7

2.1.2 运行镜像并赋予显卡资源

–gpus=“device=6”: 这里让其感知宿主机的6号卡。
–storage-opt:因为生成的容器即将大于10g,这里给30g。
-it:代表终端交互
/bin/bash: 一个守护进程命令,保证容器运行不退出

docker run --name ppocr -p 8075:8868 -it --gpus="device=6" -e NVIDIA_DRIVER_CAPABILITIES=compute,utility -e NVIDIA_VISIBLE_DEVICES=all --storage-opt size=30G  registry.baidubce.com/paddlepaddle/paddle:2.1.3-gpu-cuda10.2-cudnn7 /bin/bash 

运行此命令后,便进入了ppocr容器内部。

2.1.3 检查容器内部基础环境

python环境

终端输入python,显示3.4版本

cuda和cudnn环境

注意宿主机需要安装好cuda驱动

λ 1e7c36db9018 /usr/local/cuda nvcc -V

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2019 NVIDIA Corporation
Built on Wed_Oct_23_19:24:38_PDT_2019
Cuda compilation tools, release 10.2, V10.2.89
glibc环境
λ 1e7c36db9018 /usr/local/cuda ldd --version

ldd (Ubuntu GLIBC 2.23-0ubuntu11.2) 2.23
Copyright (C) 2016 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.

2.1.4 配置CUDA_VISIBLE_DEVICES环境变量

如果不配置cuda环境变量会报错:
RuntimeError: Environment Variable CUDA_VISIBLE_DEVICES is not set correctly. If you wanna use gpu, please set CUDA_VISIBLE_DEVICES via export CUDA_VISIBLE_DEVICES=cuda_device_id.

vim ~/.bashrc 

在底部添加
export CUDA_VISIBLE_DEVICES=0

wq保存
source  ~/.bashrc 

为什么我们的环境变量是0号卡,因为我们容器内部只有一个显卡,所以就是0号卡

2.1.5 拉取工程代码

默认在home目录下

【推荐】git clone https://github.com/PaddlePaddle/PaddleOCR

如果因为网络问题无法pull成功,也可选择使用码云上的托管:

git clone https://gitee.com/paddlepaddle/PaddleOCR

注:码云托管代码可能无法实时同步本github项目更新,存在3~5天延时,请优先使用推荐方式。

然后进入到PaddleOCR目录下

2.1.6 安装第三方库

cd PaddleOCR
pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.2 准备PaddleServing的运行环境

cd PaddleOCR/deploy/pdserving

# 安装serving,用于启动服务
wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_server_gpu-0.7.0.post102-py3-none-any.whl && pip3 install paddle_serving_server_gpu-0.7.0.post102-py3-none-any.whl -i https://pypi.tuna.tsinghua.edu.cn/simple
# 如果是cuda10.1环境,可以使用下面的命令安装paddle-serving-server
# wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_server_gpu-0.7.0.post101-py3-none-any.whl
# pip3 install paddle_serving_server_gpu-0.7.0.post101-py3-none-any.whl

# 安装client,用于向服务发送请求
wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_client-0.7.0-cp37-none-any.whl && pip3 install paddle_serving_client-0.7.0-cp37-none-any.whl -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装serving-app
wget https://paddle-serving.bj.bcebos.com/test-dev/whl/paddle_serving_app-0.7.0-py3-none-any.whl && pip3 install paddle_serving_app-0.7.0-py3-none-any.whl -i https://pypi.tuna.tsinghua.edu.cn/simple

Note: 如果要安装最新版本的PaddleServing参考链接

3 模型转换

使用PaddleServing做服务化部署时,需要将保存的inference模型转换为serving易于部署的模型。

首先,下载PPOCR的det和rec inference模型

# 下载并解压 OCR 文本检测模型
wget https://paddleocr.bj.bcebos.com/PP-OCRv2/chinese/ch_PP-OCRv2_det_infer.tar -O ch_PP-OCRv2_det_infer.tar && tar -xf ch_PP-OCRv2_det_infer.tar
# 下载并解压 OCR 文本识别模型
wget https://paddleocr.bj.bcebos.com/PP-OCRv2/chinese/ch_PP-OCRv2_rec_infer.tar -O ch_PP-OCRv2_rec_infer.tar &&  tar -xf ch_PP-OCRv2_rec_infer.tar

接下来,用安装的paddle_serving_client把下载的inference模型转换成易于server部署的模型格式。

# 转换检测模型
python3 -m paddle_serving_client.convert --dirname ./ch_PP-OCRv2_det_infer/ \
                                         --model_filename inference.pdmodel          \
                                         --params_filename inference.pdiparams       \
                                         --serving_server ./ppocrv2_det_serving/ \
                                         --serving_client ./ppocrv2_det_client/

# 转换识别模型
python3 -m paddle_serving_client.convert --dirname ./ch_PP-OCRv2_rec_infer/ \
                                         --model_filename inference.pdmodel          \
                                         --params_filename inference.pdiparams       \
                                         --serving_server ./ppocrv2_rec_serving/  \
                                         --serving_client ./ppocrv2_rec_client/

这里会出现一个问题:'Program' object has no attribute '_remove_training_info'

Traceback (most recent call last):
  File "/usr/local/python3.7.0/lib/python3.7/runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "/usr/local/python3.7.0/lib/python3.7/runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "/usr/local/python3.7.0/lib/python3.7/site-packages/paddle_serving_client/convert.py", line 87, in <module>
    fetch_alias_names=args.fetch_alias_names)
  File "/usr/local/python3.7.0/lib/python3.7/site-packages/paddle_serving_client/io/__init__.py", line 334, in inference_model_to_serving
    model_filename, params_filename, show_proto, feed_alias_names, fetch_alias_names)
  File "/usr/local/python3.7.0/lib/python3.7/site-packages/paddle_serving_client/io/__init__.py", line 214, in save_model
    new_model_file.write(main_program._remove_training_info(False).desc.serialize_to_string())
AttributeError: 'Program' object has no attribute '_remove_training_info'

修改源码即可

vim /usr/local/python3.7.0/lib/python3.7/site-packages/paddle_serving_client/io/__init__.py

在214行
new_model_file.write(main_program._remove_training_info(False).desc.serialize_to_string())
删除._remove_training_info(False)并保存

删除生成的错误目录
rm -rf ppocrv2_det_serving

然后重新进行模型转换

检测模型转换完成后,会在当前文件夹多出ppocrv2_det_servingppocrv2_det_client的文件夹,具备如下格式:

|- ppocrv2_det_serving/
  |- __model__  
  |- __params__
  |- serving_server_conf.prototxt  
  |- serving_server_conf.stream.prototxt

|- ppocrv2_det_client
  |- serving_client_conf.prototxt  
  |- serving_client_conf.stream.prototxt

识别模型同理。

4 Paddle Serving pipeline部署

  1. 下载PaddleOCR代码,若已下载可跳过此步骤

    git clone https://github.com/PaddlePaddle/PaddleOCR
    
    # 进入到工作目录
    cd PaddleOCR/deploy/pdserving/
    

    pdserver目录包含启动pipeline服务和发送预测请求的代码,包括:

    __init__.py
    config.yml            # 启动服务的配置文件
    ocr_reader.py         # OCR模型预处理和后处理的代码实现
    pipeline_http_client.py   # 发送pipeline预测请求的脚本
    web_service.py        # 启动pipeline服务端的脚本
    
  2. 启动服务可运行如下命令:

    # 启动服务,运行日志保存在log.txt
    python3 web_service.py &>log.txt &
    

    成功启动服务后,log.txt中会打印类似如下日志
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fwIHy6aW-1642128425048)(./imgs/start_server.png)]

  3. 发送服务请求:

    python3 pipeline_http_client.py
    

    成功运行后,模型预测的结果会打印在cmd窗口中,结果示例为:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YsJQrTqz-1642128425049)(./imgs/results.png)]

    调整 config.yml 中的并发个数获得最大的QPS, 一般检测和识别的并发数为2:1

    det:
        #并发数,is_thread_op=True时,为线程并发;否则为进程并发
        concurrency: 8
        ...
    rec:
        #并发数,is_thread_op=True时,为线程并发;否则为进程并发
        concurrency: 4
        ...
    

    有需要的话可以同时发送多个服务请求

    预测性能数据会被自动写入 PipelineServingLogs/pipeline.tracer 文件中。

    在200张真实图片上测试,把检测长边限制为960。T4 GPU 上 QPS 均值可达到23左右:

    2021-05-13 03:42:36,895 ==================== TRACER ======================
    2021-05-13 03:42:36,975 Op(rec):
    2021-05-13 03:42:36,976         in[14.472382882882883 ms]
    2021-05-13 03:42:36,976         prep[9.556855855855856 ms]
    2021-05-13 03:42:36,976         midp[59.921905405405404 ms]
    2021-05-13 03:42:36,976         postp[15.345945945945946 ms]
    2021-05-13 03:42:36,976         out[1.9921216216216215 ms]
    2021-05-13 03:42:36,976         idle[0.16254943864471572]
    2021-05-13 03:42:36,976 Op(det):
    2021-05-13 03:42:36,976         in[315.4468035714286 ms]
    2021-05-13 03:42:36,976         prep[69.5980625 ms]
    2021-05-13 03:42:36,976         midp[18.989535714285715 ms]
    2021-05-13 03:42:36,976         postp[18.857803571428573 ms]
    2021-05-13 03:42:36,977         out[3.1337544642857145 ms]
    2021-05-13 03:42:36,977         idle[0.7477961159203756]
    2021-05-13 03:42:36,977 DAGExecutor:
    2021-05-13 03:42:36,977         Query count[224]
    2021-05-13 03:42:36,977         QPS[22.4 q/s]
    2021-05-13 03:42:36,977         Succ[0.9910714285714286]
    2021-05-13 03:42:36,977         Error req[169, 170]
    2021-05-13 03:42:36,977         Latency:
    2021-05-13 03:42:36,977                 ave[535.1678348214285 ms]
    2021-05-13 03:42:36,977                 .50[172.651 ms]
    2021-05-13 03:42:36,977                 .60[187.904 ms]
    2021-05-13 03:42:36,977                 .70[245.675 ms]
    2021-05-13 03:42:36,977                 .80[526.684 ms]
    2021-05-13 03:42:36,977                 .90[854.596 ms]
    2021-05-13 03:42:36,977                 .95[1722.728 ms]
    2021-05-13 03:42:36,977                 .99[3990.292 ms]
    2021-05-13 03:42:36,978 Channel (server worker num[10]):
    2021-05-13 03:42:36,978         chl0(In: ['@DAGExecutor'], Out: ['det']) size[0/0]
    2021-05-13 03:42:36,979         chl1(In: ['det'], Out: ['rec']) size[6/0]
    2021-05-13 03:42:36,979         chl2(In: ['rec'], Out: ['@DAGExecutor']) size[0/0]
    

FAQ

Q1: 发送请求后没有结果返回或者提示输出解码报错

A1: 启动服务和发送请求时不要设置代理,可以在启动服务前和发送请求前关闭代理,关闭代理的命令是:

unset https_proxy
unset http_proxy
  • 4
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 11
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L-960

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值