1. TengineInferPipe简介
TengineInferPipe 是由 OPEN AI LAB 基于mediapipe框架进行改进、迭代的一套低代码、模块化的算法落地框架。通过解析部署配置文件,构建整个部署流程。可以用于快速构建算法部署sdk,以及可以作为一些可视化部署方案的中间层。其基本数据流程图如下图所示。
2. 基于TensorRT后端Demo实现
2.1 环境需求
1)bazel >= 3.7 参考 bazel安装说明 安装bazel到系统中,或者下载对应版本Releases • bazelbuild/bazel • GitHub的可执行文件放到/usr/bin目录下。
这里使用bazel-4.1.0版本,更高版本可能存在编译问题。下载可执行文件bazel-4.1.0-linux-arm64放到/usr/bin目录,并创建软链接bazel->bazel-4.1.0-linux-arm64。然后使用bazel --version测试是否安装成功。
2)gcc