我的NVIDIA开发者之旅——利用NVIDIA TAO工具包3.0和Deepstream快速搭建车辆信息识别系统

实现目标

汽车检测以及车牌信息

部署工具：NVIDIA DeepStream SDK

简单设置参数

工作流程

视频源—— 视频流处理（RTSP/RAW、DECODE）—— 预处理大小、分辨率等（IMAGE PROCESSING）—— 批次处理即几张图片组合到一起进行处理（BATCHING）—— 推理任务（DNN(s)）—— 进行更多操作如追踪任务（TRACKING）—— 显示合成（VIZ）—— 输出（DISPLAY/STORAGE/CLOUD）

注意事项

• 流数据可以通过RTSP通过网络传输，也可以从本地文件系统或直接从摄像机传输。这些流是使用CPU捕获的。一旦帧在内存中，他们被发送为解码使用NVDEC加速器。decode的插件名为Gst nvvideo4linux2。
• 解码后，还有一个可选的图像预处理步骤，在此步骤中可以对输入图像进行预处理，然后进行推理。预处理可以是图像的色彩空间的变换等。Gst-nvdewarper插件可以从鱼眼或360度相机变形图像。Gst-nvvideoconvert插件可以在帧上执行颜色格式转换。这些插件使用GPU或VIC(视觉图像合成)。
• 下一步是批处理帧以获得最佳推理性能。批处理使用Gst-nvstreammux插件完成一旦帧被成批处理，它就被发送去进行推理。推理可以使用NVIDIA的推理加速器运行时TensorRT完成，也可以使用Triton推理服务器在本地框架(如TensorFlow或PyTorch)中完成。本机TensorRT推断使用Gst-nvinfer插件执行，Triton推断使用Gst-nvinferserver插件执行。推理可以使用GPU或DLA(深度学习加速器]的Jetson AGX Xavier和Xavier NX。
• 在推断之后，下一步可能涉及跟踪对象。在SDK中有几个内置的参考跟踪器，从高性能到高精度。使用Gst-nvtracker插件执行对象跟踪。
• 有一个可视化插件名为Gst-nvdsosd，用于创建诸如边框、分割掩码、标签等可视化工件
• 最后，为了输出结果，DeepStream提供了各种选项:用屏幕上的边框呈现输出，将输出保存到本地磁盘，通过RTSP流输出，或者直接将元数据发送到云。为了向云发送元数据，DeepStream使用Gst-nvmsgconv和Gst-nvmsgbroker插件。Gst-nvmsgconv将元数据转换为模式有效负载，Gst-
  nvmsgbroker建立到云的连接并发送遥测数据。有几个内置的代理协议，如Kafka、MQTT、AMQP和Azure loT。可以创建自定义代理适配器。

GPU深度学习推理：TensorRT

部署工具

Transfer Learning Toolkit是一个基于python的工具包，它使开发人员能够利用NVIDIA预先训练的模型，并为开发人员提供一系列的工具，使流行的网络架构适应他们自己的数据，并且能够训练、调整、修剪和导出模型以进行部署。它还拥有简单的接口和抽象APl，提高了深度学习训练工作流的效率。

• GPU优化的预训练模型，可用于计算机视觉任务
• 轻松修改配置文件以添加新类并使用自定义数据重新训练模型
• 在异构的多GPU环境中执行模型调整和重新训练。
• 使用修剪功能缩小模型尺寸
• 模型导出API，可在具有NVIDIA Tesla和Jetson产品NVIDIADeepStreamSDK上部署

实战代码

GST Python 安装

sudo apt-get install python-gi-dev
export GST_LIBS="-lgstreamer-1.0 -lgobject-2.0 -lglib-2.0"
export GST_CFLAGS="-pthread -I/usr/include/gstreamer-1.0 -I/usr/include/glib-2.0 -I/usr/lib/x86_64-linux-gnu/glib-2.0/include"
git clone https://github.com/GStreamer/gst-python.git
cd gst-python
git checkout 1a8f48a
./autogen.sh PYTHON=python3
./configure PYTHON=python3
make
sudo make install

下载 Deepstream Python 绑定文件

tar xf ds_pybind_0.5.tbz2 -C /home/nvidia/Downloads/deepstream/sources

包装内容
DeepStream Python包 包括：

1.DeepStream 元数据库的 Python 绑定 这些绑定作为已编译模块提供，可用于 x86_64 和 Jetson 平台。 在以下位置找到它们：
|- x86_64
|- pyds.so
|- jetson
|- pyds.so
2.Python 中的 DeepStream 测试应用程序有四个测试应用程序可用： deepstream-test1/deepstream_test_1.py deepstream-test2/deepstream_test_2.py deepstream-test3/deepstream_test_3.py deepstream-test3/deepstream_test_4.py

运行代码：
注意 - 确保 pyds.so 文件所在的文件夹路径位于 PATH 中。

导入必要的库

import sys
sys.path.append('../')
sys.path.append('/home/nvidia/Downloads/deepstream/sources/python/bindings/x86_64')
sys.path.append('/usr/lib/python3/dist-packages')
from common.is_aarch_64 import is_aarch64
import gi
gi.require_version('Gst', '1.0')
from gi.repository import GObject, Gst
from common.is_aarch_64 import is_aarch64
from common.bus_call import bus_call

import pyds

声明类标签 ID

PGIE_CLASS_ID_VEHICLE = 0
PGIE_CLASS_ID_BICYCLE = 1
PGIE_CLASS_ID_PERSON = 2
PGIE_CLASS_ID_ROADSIGN = 3

def osd_sink_pad_buffer_probe(pad,info,u_data):
    frame_number=0
    #Intiallizing object counter with 0.
    obj_counter = {
   
        PGIE_CLASS_ID_VEHICLE:0,
        PGIE_CLASS_ID_PERSON:0,
        PGIE_CLAS