MMDeploy学习笔记（二）：MMDeploy简介与环境配置

MMDeploy简介

MMDeploy是OpenMMLab推出的开源模型部署算法库，旨在为各算法库提供统一的模型部署操作。基于MMDeploy，开发者可以轻松从OpenMMLab下的算法库（例如Pytorch模型）生成指定硬件与推理引擎的模型算法所需模型转换器（Model Converter）和软件开发包（SDK），省去大量适配时间。

MMDeploy 定义的模型部署流程，如下图所示：

模型转换（Model Converter）的主要功能是把输入的模型格式，转换为目标设备的推理引擎所要求的模型格式。
MMDeploy 模型（MMDeploy Model）也称 SDK Model。它是模型转换结果的集合。不仅包括后端模型，还包括模型的元信息。这些信息将用于推理 SDK 中。
推理 SDK（Inference SDK）封装了模型的前处理、网络推理和后处理过程。对外提供多语言的模型推理接口。

更多详细的信息可以参考MMDeploy的Github官网主页：https://github.com/open-mmlab/mmdeploy

MMDeploy环境配置

此节将会介绍MMDeploy如何在Linux系统（X86_64）上安装、配置其环境。

博主自己的硬件配置为（供参考）：

• Ubuntu 20.04
• NVIDIA GeForce RTX 3090
• NVIDIA显卡驱动版本：12.0
• CUDA version：11.3

安装

对于端到端的模型转换和推理，MMDeploy 需要依赖 Python 3.6+ 以及 PyTorch 1.8+。

安装步骤如下：

1. 创建名为mmdeploy的conda环境（注意需要预先安装Miniconda或Anaconda）

conda create --name mmdeploy python=3.8 -y
conda activate mmdeploy

2. 安装 PyTorch 1.10.0(在 GPU 环境下，请务必保证 {cudatoolkit_version} 和主机的 CUDA Toolkit 版本一致，避免在使用 TensorRT 时，可能引起的版本冲突问题)

# conda install pytorch=={pytorch_version} torchvision=={torchvision_version} cudatoolkit={cudatoolkit_version} -c pytorch -c conda-forge
conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch -c conda-forge

3. 安装MMCV 2.0.0rc2+

方法一：

pip install -U openmim
mim install "mmcv>=2.0.0rc2"

方法二：

pip install mmcv-full==2.1.0 -f https://download.openmmlab.com/mmcv/dist/cu113/torch1.10/index.html

4. 下载Github最新版MMDeploy

git clone https://github.com/open-mmlab/mmdeploy.git --recursive
cd mmdeploy

5. 备份原始源，并替换为清华源（若系统本身已经是清华源，请跳过此步骤）

sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup
sudo sed -i "s@http://.*archive.ubuntu.com@https://mirrors.tuna.tsinghua.edu.cn@g" /etc/apt/sources.list
sudo sed -i "s@http://.*security.ubuntu.com@https://mirrors.tuna.tsinghua.edu.cn@g" /etc/apt/sources.list
sudo apt-get update

6. 编译并安装 MMDeploy（耗时大约十分钟）

# 1. 安装 MMDeploy 模型转换工具（含trt/ort自定义算子）
pip install mmdeploy==1.3.0

# 2. 安装 MMDeploy SDK推理工具
# 根据是否需要GPU推理可任选其一进行下载安装
# 2.1 支持 onnxruntime 推理
pip install mmdeploy-runtime==1.3.0
# 2.2 支持 onnxruntime-gpu tensorrt 推理
pip install mmdeploy-runtime-gpu==1.3.0

# 3. 安装推理引擎
# 3.1 安装推理引擎 TensorRT
# !!! 若要进行 TensorRT 模型的转换以及推理，从 NVIDIA 官网下载 TensorRT-8.2.3.0 CUDA 11.x 安装包并解压到当前目录。
pip install TensorRT-8.2.3.0/python/tensorrt-8.2.3.0-cp38-none-linux_x86_64.whl
pip install pycuda
# 配置环境变量
export TENSORRT_DIR=$(pwd)/TensorRT-8.2.3.0
export LD_LIBRARY_PATH=${TENSORRT_DIR}/lib:$LD_LIBRARY_PATH
# !!! 另外还需要从 NVIDIA 官网下载 cuDNN 8.2.1 CUDA 11.x 安装包并解压到当前目录
export CUDNN_DIR=$(pwd)/cuda
export LD_LIBRARY_PATH=$CUDNN_DIR/lib64:$LD_LIBRARY_PATH

# 3.2 安装推理引擎 ONNX Runtime
# 根据是否需要GPU推理可任选其一进行下载安装
# 3.2.1 onnxruntime
wget https://github.com/microsoft/onnxruntime/releases/download/v1.8.1/onnxruntime-linux-x64-1.8.1.tgz
tar -zxvf onnxruntime-linux-x64-1.8.1.tgz
# 配置环境变量
export ONNXRUNTIME_DIR=$(pwd)/onnxruntime-linux-x64-1.8.1
export LD_LIBRARY_PATH=$ONNXRUNTIME_DIR/lib:$LD_LIBRARY_PATH
# 3.2.2 onnxruntime-gpu
pip install onnxruntime-gpu==1.8.1
wget https://github.com/microsoft/onnxruntime/releases/download/v1.8.1/onnxruntime-linux-x64-gpu-1.8.1.tgz
tar -zxvf onnxruntime-linux-x64-gpu-1.8.1.tgz
# 配置环境变量
export ONNXRUNTIME_DIR=$(pwd)/onnxruntime-linux-x64-gpu-1.8.1
export LD_LIBRARY_PATH=$ONNXRUNTIME_DIR/lib:$LD_LIBRARY_PATH

如果你只需安装ONNXRunTime，也可以按照如下方法安装：

python tools/scripts/build_ubuntu_x64_ort.py
# 上面的脚本，包括了以下几个子步骤：
# 1、配置工具链
# 2、下载并安装推理引擎 onnxruntime，和其他的依赖项
# 3、编译并安装 mmdeploy 中的 onnxruntime 自定义算子和 mmdeploy inference SDK
# 4、安装 mmdeploy python 包

# 配置环境变量
export PYTHONPATH=$(pwd)/build/lib:$PYTHONPATH
export LD_LIBRARY_PATH=$(pwd)/build/lib:$(pwd)/../mmdeploy-dep/onnxruntime-linux-x64-1.8.1/lib:$LD_LIBRARY_PATH

验证安装成功

在命令行中输入如下指令：

python -c 'import mmdeploy'
python -c 'from mmdeploy_python import Detector'

若无报错，则说明安装成功。