Jetson调用triton inference server详细笔记

系列文章目录

yolov5 win10 CPU与GPU环境搭建,亲测有效！
yolov5训练自己的数据集，详细教程！
yolov5转tensorrt模型
Jetson调用triton inference server详细笔记
yolov5模型部署:Triton服务器+TensorRT模型加速（基于Jetson平台）

---

---

一、jetson安装triton-inference-server

1.1 jtop命名行查看jetpack版本与其他信息

本机盒子jetpack信息如下：

1.2下载对应版本的安装包

下载地址：https://github.com/triton-inference-server/server/tags
我这里选用的是：V2.11.0版本

选这个版本也是有理由的：因为此版本支持 TensorFlow 2.4.0、TensorFlow 1.15.5、TensorRT 7.1、OnnxRuntime 1.8.0 以及集成。自带可用的backend会多一些。在网页最下面，下载安装包：

1.3解压刚刚下载的安装包，并进入到对应的bin目录下

tar tritonserver2.11.0-jetpack4.5.tgz
cd tritonserver2.11.0-jetpack4.5/bin/

1.4尝试运行一下tritonserver

./ tritonserver

如出现如下错误：

error while loading shared libraries: libXXX.so.X: cannot open shared object file: No such file or directory

可能存在以下两种情况：
1.4.1可能是操作系统里确实没有包含该共享库(lib*.so.*文件)或者共享库版本不对, 遇到这种情况那就去网上下载并安装上即可。
只需要sudo apt-get install libXXX

1.4.2已经安装了该共享库, 但 执行需要调用该共享库的程序的时候, 程序按照默认共享库路径找不到该共享库文件。

	1.4.2.1 如果不知道，请查找库的放置位置：`sudo find / -name libXXX.so.X`
	1.4.2.2检查动态库路径环境变量是否存在( LD_LIBRARY_PATH)：echo $LD_LIBRARY_PATH
	1.4.2.3将`libXXX.so.X`文件复制到动态库路径环境中

注意以上两个步骤不是二选一的关系，可能同时存在，需要读者自己甄别。
若出现以下提示，说明动态库文件没问题了：

---

二、运行triton-inference-server

2.1下载相关文件包

下载地址： https://github.com/triton-inference-server/server，解压并把docs文件夹复制到tritonserver2.11.0-jetpack4.5下。

2.2 生成模型文件

进入到tritonserver2.11.0-jetpack4.5/docs/examples文件夹下运行

bash fetch_models.sh

会生成一个model_repository文件夹，里面包含如下内容：

2.3启动tritonserver

cd 进入tritonserver2.11.0-jetpack4.5/bin/
运行./tritonserver –model-repository=../docs/examples/model_repository
若出现如下提示：

需要把tritonserver2.11.0-jetpack4.5/backends复制到 /opt/tritionserver /opt/tritonserver下，再次运行./tritonserver –model-repository=../docs/examples/model_repository

出现以上系统提示，说明tritonserver启动成功了。

三、测试triton client demo

3.1安装客户端依赖项

要运行客户端，必须安装以下依赖项。

apt-get install -y --no-install-recommends \
        curl \
        pkg-config \
        python3 \
        python3-pip \
        python3-dev

pip3 install --upgrade wheel setuptools cython && \
pip3 install --upgrade grpcio-tools numpy future attrdict

3.2安装python 客户端库

python 客户端库的存在于tritonserver2.11.0-jetpack4.5/clients/python中，可以通过运行以下命令进行安装：

python3 -m pip install --upgrade clients/python/tritonclient-2.11.0-py3-none-linux_aarch64.whl[all]

3.3运行onnx分类模型demo

在tritonserver2.11.0-jetpack4.5/clinets/python目录下，运行

python3 ./image_client.py -m densenet_onnx  -s INCEPTION ~/LH/tritonserver2.11.0-jetpack4.5/qa/images/mug.jpg

此处需根据自己的路径稍加修改。

到这里就说明运行成功了！！！

总结

Triton 部署真的很方便，苦于之前没做过部署，弄了有一个星期，感觉还挺吃力的，现在跑动一个demo也是很开心呢！！！继续加油呀！！！
如果阅读本文对你有用，欢迎关注点赞评论收藏呀！！！
2021年8月12日20:25:55