jetson nano 从烧录系统开始配置deepstream

jetson烧录系统配置基础环境请查看博主另一篇文章：https://zhangzhe.blog.csdn.net/article/details/100519113

deepstream快速入门指南

NVIDIA ® DeepStream软件开发工具包（SDK）为加速AI框架来构建智能视频分析（IVA）等的管道。DeepStream运行在NVIDIA ® T4，NVIDIA ®安培和平台，
如NVIDIA ®杰特森™纳米，NVIDIA ®杰特森AGX泽维尔™，NVIDIA ®杰特森泽维尔
Jetson设定--------------
本节说明在安装DeepStream SDK之前如何准备Jetson设备。

安装Jetson SDK组件

从https://developer.nvidia.com/embedded/jetpack下载NVIDIA SDK Manager。您将使用它来安装JetPack 4.5.1 GA（对应于L4T 32.5.1版本）

-NVIDIA SDK Manager是一个图形应用程序，它会闪烁并安装JetPack软件包。
-根据主机系统的不同，刷新过程大约需要10-30分钟。

.. 笔记：：
  如果您使用的是Jetson Nano或Jetson Xavier NX开发人员套件，则可以从https://developer.nvidia.com/embedded/jetpack下载SD卡映像。它与CUDA，TensorRT和cuDNN打包在一起。

安装依赖项
~~~~~~~~~~~~~~~~~~~~~~~~~
输入以下命令以安装必备软件包

$ sudo apt install \
libssl1.0.0 \
libgstreamer1.0-0 \
gstreamer1.0-tools \
gstreamer1.0-plugins-good \
gstreamer1.0-plugins-bad \
gstreamer1.0-plugins-ugly \
gstreamer1.0-libav \
libgstrtspserver-1.0-0 \
libjansson4=2.11-1

安装librdkafka（为消息代理启用Kafka协议适配器）
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^^^^^^

1.从GitHub克隆`librdkafka`存储库：::

     $ git clone https://github.com/edenhill/librdkafka.git

2.配置和构建库：:

$ cd librdkafka
$ git reset --hard 7101c2310341ab3f4675fc565f64f0967e135a6a
./configure
$ make
$ sudo make install3.将生成的库复制到deepstream目录：::

     $ sudo mkdir -p /opt/nvidia/deepstream/deepstream-5.1/lib 
     $ sudo cp / usr / local / lib / librdkafka * /opt/nvidia/deepstream/deepstream-5.1/lib

安装DeepStream SDK
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

-**方法1 **：使用SDK Manager

  从``其他SDK''部分中选择DeepStreamSDK以及JP 4.5.1软件组件进行安装。

-**方法2 **：使用DeepStream tar包

   1.将DeepStream 5.1 Jetson tar包“ deepstream_sdk_v5.1.0_jetson.tbz2”下载到Jetson设备。

   2.输入以下命令以提取并安装DeepStream SDK：::

          $ sudo tar -xvf deepstream_sdk_v5.1.0_jetson.tbz2 -C /
          $ cd /opt/nvidia/deepstream/deepstream-5.1
          $ sudo ./install.sh
          $ sudo ldconfig

-**方法3 **：使用DeepStream Debian软件包

  将DeepStream 5.1 Jetson Debian软件包``deepstream-5.1_5.1.0-1_arm64.deb''下载到Jetson设备。然后输入命令：::

        $ sudo apt-get install ./deepstream-5.1_5.1.0-1_arm64.deb

  .. 笔记：：
     如果使用dpkg命令安装DeepStream SDK Debian软件包，则必须在安装debian软件包之前安装以下软件包：

      *``libgstrtspserver-1.0-0''
      *``libgstreamer-plugins-base1.0-dev''

-**方法4 **：使用`apt-server`

   1.使用类似于“ $ sudo vi /etc/apt/sources.list.d/nvidia-l4t-apt-source.list”的命令，在文本编辑器中打开apt源配置文件。 
   2.在如下所示的deb命令中更改存储库名称并下载URL：``deb https://repo.download.nvidia.com/jetson/common r32.5 main” 
   3.保存并关闭源配置文件。
   4.输入命令：::

       $ sudo apt更新
       $ sudo apt安装deepstream-5.1

-**方法5 **：使用Docker容器
  DeepStream Docker容器在NGC上可用。请参阅\ DS：\ DS_docker_containers`部分，以了解有关使用Docker容器开发和部署DeepStream的信息。

运行deepstream-app（参考应用程序）
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 〜

1.导航到开发工具包上的示例目录。

2.输入以下命令以运行参考应用程序：::

        $ deepstream-app -c <路径配置文件>

   其中“ <path_to_config_file>”是参考应用程序配置文件之一的路径名，可在“ configs / deepstream-app /”中找到。有关可用文件的列表，请参见包装内容。
      
   .. 笔记：：
      *您可以在/opt/nvidia/deepstream/deepstream-5.1/samples目录下找到示例配置文件。输入此命令以查看应用程序用法：::
             
             $ deepstream-app-帮助

      *要保存TensorRT Engine / Plan文件，请运行以下命令：::
             
             $ sudo deepstream-app -c <路径配置文件>

  3.要在2D Tiled显示视图中显示标签，请在源上单击鼠标左键以展开感兴趣的源。要返回平铺显示，请在窗口中的任意位置“右键单击”。
  4.还支持键盘的来源选择。在运行应用程序的控制台上，按z键，然后按所需的行索引（0到9），然后按列索引（0到9）以展开源。要恢复2D平铺显示视图，请再次按``z''。

提高时钟
^^^^^^^^^^^^^^^^^^
安装DeepStream SDK后，请在Jetson设备上运行以下命令以提高时钟：::

   $ sudo nvpmodel -m 0 
   $ sudo jetson_clocks
   
运行预编译的示例应用程序

1.导航到“ sources / apps / sample_apps”内的所选应用程序目录。
2.按照目录的README文件运行该应用程序。

 .. 笔记：：
      如果应用程序遇到错误并且无法创建Gst元素，请删除GStreamer缓存，然后重试。要删除GStreamer缓存，请输入以下命令：
      ``$ rm $ {HOME} /。cache / gstreamer-1.0 / registry.aarch64.bin``

      当针对不存在现有引擎文件的模型运行应用程序时，可能需要花费几分钟（取决于平台和模型）来生成文件和启动应用程序。为了以后运行，可以重新使用这些生成的引擎文件以加快加载速度。

适用于Ubuntu的dGPU设置

本节说明在安装DeepStream SDK之前如何使用NVIDIA dGPU设备准备``Ubuntu x86_64’'系统。

… 笔记：：
本文档使用术语dGPU（“独立GPU”）来指代NVIDIA GPU扩展卡产品，例如NVIDIA |Tesla®|。T4和P4，NVIDIA |GeForce®| GTX 1080和NVIDIA |GeForce®| RTX 2080。
此版本的DeepStream SDK在NVIDIA驱动程序460.32和NVIDIATensorRT®7.2及更高版本支持的x86_64平台上的特定dGPU产品上运行。

 .. |Tesla®| 替换:: Tesla \：sup：`
 .. |GeForce®| replace :: GeForce \：sup：`

您必须安装以下组件：

-Ubuntu 18.04
-GStreamer 1.14.1
-NVIDIA驱动程序460.32
-CUDA 11.1
-TensorRT 7.2.X

删除所有以前的DeepStream安装

输入以下命令以删除所有以前的DeepStream 3.0或以前的安装：::

    $ sudo rm -rf / usr / local / deepstream /usr/lib/x86_64-linux-gnu/gstreamer-1.0/libgstnv* / usr / bin / deepstream * /usr/lib/x86_64-linux-gnu/gstreamer-1.0/ libnvdsgst *
    /usr/lib/x86_64-linux-gnu/gstreamer-1.0/deepstream*
    / opt / nvidia / deepstream / deepstream *
    $ sudo rm -rf /usr/lib/x86_64-linux-gnu/libv41/plugins/libcuvidv4l2_plugin.so

要删除DeepStream 4.0或更高版本的安装，请执行以下操作：

1.打开``/ opt / nvidia / deepstream / deepstream /''中的``uninstall.sh''文件
2.将PREV_DS_VER设置为4.0
3.以sudo身份运行以下脚本："./ uninstall.sh"

安装依赖项
~~~~~~~~~~~~~~~~~~~~~~
在安装DeepStream SDK之前，输入以下命令以安装必要的软件包：::

$ sudo apt install \
libssl1.0.0 \
libgstreamer1.0-0 \
gstreamer1.0-tools \
gstreamer1.0-plugins-good \
gstreamer1.0-plugins-bad \
gstreamer1.0-plugins-ugly \
gstreamer1.0-libav \
libgstrtspserver-1.0-0 \
libjansson4=2.11-1

安装NVIDIA驱动程序460.32
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

-从以下位置的NVIDIA Unix驱动程序页面下载并安装NVIDIA驱动程序460.32：
  https://www.nvidia.com/cn/download/driverResults.aspx/168347/en-us

-运行以下命令：::

    $ chmod 755 NVIDIA-Linux-x86_64-460.32.03.run
    $。/ NVIDIA-Linux-x86_64-460.32.03.run


安装CUDA Toolkit 11.1
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
从NVIDIA开发人员中心下载并安装CUDA Toolkit 11.1，网址为：
https://developer.nvidia.com/cuda-downloads

安装TensorRT 7.2.X
^^^^^^^^^^^^^^^^^^^^^^^^
从NVIDIA开发人员中心下载并安装TensorRT 7.2：
https://developer.nvidia.com/nvidia-tensorrt-download

安装librdkafka（为消息代理启用Kafka协议适配器）
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^^^^
1.从GitHub克隆`librdkafka`存储库：::

   $ git clone https://github.com/edenhill/librdkafka.git

2.配置和构建库：::

    $ cd librdkafka
    $ git reset --hard 7101c2310341ab3f4675fc565f64f0967e135a6a
    。/配置
    $使
    $ sudo make install

3.将生成的库复制到deepstream目录：::

    $ sudo mkdir -p /opt/nvidia/deepstream/deepstream-5.1/lib 
    $ sudo cp / usr / local / lib / librdkafka * /opt/nvidia/deepstream/deepstream-5.1/lib

安装DeepStream SDK
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

-**方法1 **：使用DeepStream Debian软件包

  下载DeepStream 5.1 dGPU Debian包``deepstream-5.1_5.1.0-1_amd64.deb''：https://developer.nvidia.com/deepstream-51-510-1-amd64deb
  
  输入命令：::

      $ sudo apt-get install ./deepstream-5.1_5.1.0-1_amd64.deb

-**方法2 **：下载DeepStream tar包：https://developer.nvidia.com/deepstream-sdk-v510-x86-64tbz2

  导航到下载的DeepStream软件包的位置以提取并安装DeepStream SDK：::

      $ sudo tar -xvf deepstream_sdk_v5.1.0_x86_64.tbz2 -C /
      $ cd /opt/nvidia/deepstream/deepstream-5.1/
      $ sudo ./install.sh
      $ sudo ldconfig

-**方法3 **：使用apt-server

   1.在计算机的源列表中添加以下x86_64存储库。

       一种。在文本编辑器中打开apt源配置文件，例如：``$ sudo vi /etc/apt/sources.list.d/nvidia-apt-source.list''
       b。在deb命令中确认存储库名称并下载URL：``deb https://repo.download.nvidia.com/jetson/x86_64 bionic r32.5''
       C。保存并关闭源配置文件。

   2.安装APT服务器的x86_64存储库的公钥：::

           $ sudo apt-key adv --fetch-key https://repo.download.nvidia.com/jetson/jetson-ota-public.asc
     
      输入命令：::

           $ sudo apt更新
           $ sudo apt安装deepstream-5.1


-**方法4 **：使用Docker容器
  DeepStream Docker容器在NGC上可用。请参阅\ DS：\ DS_docker_containers`部分，以了解有关使用Docker容器开发和部署DeepStream的信息。

运行deepstream-app（参考应用程序）
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~

-转到示例目录并输入以下命令：::

        $ deepstream-app -c <路径配置文件>
    
  其中“ <path_to_config_file>”是参考应用程序配置文件之一的路径名，可在“ configs / deepstream-app”中找到。有关可用文件的列表，请参见包装内容。

    .. 笔记：：
      *要转储引擎文件，请运行以下命令：::

           $ sudo deepstream-app -c <路径配置文件>

      *您可以在/opt/nvidia/deepstream/deepstream-5.1/samples目录下找到示例配置文件。输入此命令以查看应用程序用法：::

           $ deepstream-app-帮助

-要在2D平铺显示视图中显示标签，请在源上单击鼠标左键以展开感兴趣的源。要返回平铺显示，请在窗口中的任意位置“右键单击”。
-还支持键盘选择来源。在运行应用程序的控制台上，按z键，然后按所需的行索引（0到9），然后按列索引（0到9）以展开源。要恢复2D平铺显示视图，请再次按``z''。

运行预编译的示例应用程序
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

1.导航到“ sources / apps / sample_apps”内的所选应用程序目录。
2.按照该目录的README文件运行该应用程序。

    .. 笔记：：
       如果应用程序遇到错误并且无法创建Gst元素，请删除GStreamer缓存，然后重试。要删除GStreamer缓存，请输入以下命令：::

           $ rm $ {HOME} /。cache / gstreamer-1.0 / registry.x86_64.bin

       当针对不具有现有引擎文件的模型运行应用程序时，可能需要花费几分钟（取决于平台和模型）来生成文件和启动应用程序。为了以后运行，可以重新使用这些生成的引擎文件以加快加载速度。

用于RedHat Enterprise Linux（RHEL）的dGPU设置
----------------------------------------------
本节说明在安装DeepStream SDK之前，如何使用NVIDIA dGPU设备准备RHEL系统。

.. 笔记：：
      本文档使用术语dGPU（``独立GPU''）来指代NVIDIA GPU扩展卡产品，例如NVIDIA Tesla T4和P4，NVIDIA GeForce GTX 1080和NVIDIA GeForce RTX 2080。 
      此版本的DeepStream SDK在NVIDIA驱动程序460+和|NVIDIA®支持的x86_64平台上的特定dGPU产品上运行。TensorRT鈩7.2及更高版本。

      .. |NVIDIA®| 替换:: NVIDIA \：sup：``

您必须安装以下组件：

-RHEL 8.x
-GStreamer 1.14.1
-NVIDIA驱动程序460.32（https://www.nvidia.com/cn/download/driverResults.aspx/168347/zh-cn）
-CUDA 11.1
-TensorRT 7.2.X

删除所有以前的DeepStream安装

要删除DeepStream 4.0或更高版本的安装，请执行以下操作：

1.打开将在/ opt / nvidia / deepstream / deepstream /''中出现的uninstall.sh文件。 2.将PREV_DS_VER设置为4.0 3.以sudo运行以下脚本：。/ uninstall.sh``

安装依赖项

在安装DeepStream SDK之前，输入以下命令以安装必要的软件包：::

      $yum install\
      gstreamer1 \
      gstreamer1-plugins-base \
      gstreamer1-plugins-好
      gstreamer1-plugins-bad-free \
      gstreamer1-plugins-ugly-free \
      gstreamer1-rtsp-server \
      gstreamer1-svt-av1 \
      json-glib \
      openssl \
      libuuid \
      gstreamer1-plugins-base-devel \
      json-glib-devel \
      opencv-devel \
      jasson-devel\
      openssl-devel \
      libuuid-devel

** gst-rtsp-server **：
   
``gst-rtsp-server-devel``软件包不适用于编译deepstream-app所需的RHEL。

从https://gstreamer.freedesktop.org/src/gst-rtsp-server/gst-rtsp-server-1.14.5.tar.xz下载源：::

   $ ./configure
   $make
   $make install
   $ sudo cp -r /usr/local/include/gstreamer-1.0/gst/rtsp-server/ /usr/include/gstreamer-1.0/gst/

..注意：： DeepStream软件包的README.rhel中也提到了RHEL 8.x所需的软件包。

安装NVIDIA驱动程序460.32
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

-从https://www.nvidia.com/cn/download/driverResults.aspx/168347/en-us的NVIDIA unix驱动程序页面下载并安装NVIDIA驱动程序460.32

-运行以下命令：::

    $ chmod 755 NVIDIA-Linux-x86_64-460.32.03.run
    $。/ NVIDIA-Linux-x86_64-460.32.03.run

安装CUDA Toolkit 11.1
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
从NVIDIA开发人员中心下载并安装CUDA Toolkit 11.1，网址为：
https://developer.nvidia.com/cuda-downloads

安装TensorRT 7.2.X
^^^^^^^^^^^^^^^^^^^^^^^
从NVIDIA开发人员中心下载并安装TensorRT 7.2.X：
https://developer.nvidia.com/nvidia-tensorrt-download

安装librdkafka（为消息代理启用Kafka协议适配器）
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^^^^^

1.从GitHub克隆`librdkafka`存储库：

 ``$ git clone https：// github.com / edenhill / librdkafka.git``
 
2.配置和构建库：::

       $ cd librdkafka
       $ git reset --hard 7101c2310341ab3f4675fc565f64f0967e135a6a
      ./configure
       $make
       $ sudo make install

3.将生成的库复制到deepstream目录：::

        $ sudo mkdir -p /opt/nvidia/deepstream/deepstream-5.1/lib 
        $ sudo cp / usr / local / lib / librdkafka * /opt/nvidia/deepstream/deepstream-5.1/lib


安装DeepStream SDK

-**方法1 **：下载DeepStream tar包：https://developer.nvidia.com/deepstream-sdk-v510-x86-64tbz2

导航到DeepStream软件包下载到的位置，然后解压缩并安装DeepStream SDK：::

   $ sudo tar -xvf deepstream_sdk_v5.1.0_x86_64.tbz2 -C /
   $ cd /opt/nvidia/deepstream/deepstream-5.1/
   $ sudo ./install.sh
   $ sudo ldconfig

-**方法2 **：使用Docker容器

DeepStream Docker容器在NGC上可用。请参阅\ DS：\ DS_docker_containers`部分，以了解有关使用Docker容器开发和部署DeepStream的信息。

运行deepstream-app（参考应用程序）
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~~~
-转到示例目录并输入以下命令：::

   $ deepstream-app -c <路径配置文件>

其中“ <path_to_config_file>”是参考应用程序配置文件之一的路径名，可在“ configs / deepstream-app”中找到。有关可用文件的列表，请参见包装内容。

.. 笔记：：

    要转储引擎文件，请运行以下命令：::

       $ sudo deepstream-app -c <路径配置文件>

    您可以在/opt/nvidia/deepstream/deepstream-5.1/samples目录中找到示例配置文件。输入此命令以查看应用程序用法：::

       $ deepstream-app-帮助

-要在2D平铺显示视图中显示标签，请在源上单击鼠标左键以展开感兴趣的源。要返回平铺显示，请在窗口中的任意位置“右键单击”。
-还支持键盘选择来源。在运行应用程序的控制台上，按z键，然后按所需的行索引（0到9），然后按列索引（0到9）以展开源。要恢复2D平铺显示视图，请再次按``z’’。

运行预编译的示例应用程序

1.导航到“ sources / apps / sample_apps”内的所选应用程序目录。
2.按照该目录的README文件运行该应用程序。
 
    .. 笔记：： 
      如果应用程序遇到错误并且无法创建Gst元素，请删除GStreamer缓存，然后重试。要删除GStreamer缓存，请输入以下命令：::

           $ rm $ {HOME} /。cache / gstreamer-1.0 / registry.x86_64.bin

      当针对不具有现有引擎文件的模型运行应用程序时，可能需要花费几分钟（取决于平台和模型）来生成文件和启动应用程序。为了以后运行，可以重新使用这些生成的引擎文件以加快加载速度。

在没有X服务器的情况下运行
------------------------------
SDK随附的默认配置文件具有基于EGL的“ nveglglessink”作为默认渲染器（由[sink]组中的type = 2表示）。渲染器需要一个正在运行的X服务器，并且没有一个就会失败。
在没有X服务器的情况下，DeepStream参考应用程序提供了通过RTSP传输输出的另一种功能。可以通过在配置文件中添加RTSP输出接收器组来启用此功能。有关示例，请参考source30_1080p_dec_infer-resnet_tiled_display_int8.txt文件中的“ [sink2]”组。不要忘记通过为相应的接收器组设置enable = 0来禁用“ nveglglessink”渲染器。

平台和操作系统兼容性
-------------------------------
下表提供了有关DeepStream当前版本和早期版本中平台和操作系统兼容性的信息。

.. csv-table :: Jetson模型平台和操作系统兼容性 
     ：file：../text/tables/DS_quickstart_Jetson_platform_os_compatibility.csv
     ：宽度：10、10、10、10、10、10、10、10
     ：header-rows：1

.. csv-table :: dGPU模型平台和操作系统兼容性 
     ：file：../text/tables/DS_quickstart_dGPU_platform_os_compatibility.csv
     ：宽度：10、10、10、10、10、10、10、10
     ：header-rows：1

DeepStream Triton Inference Server使用指南
-------------------------------------------------- --

显卡
~~~~~~

1.拉DeepStream Triton Inference Server泊坞窗::

      docker pull nvcr.io/nvidia/deepstream:5.1-21.02-triton

2.启动泊坞窗::

      docker run --gpus all -it --rm -v /tmp/.X11-unix:/tmp/.X11-unix -e DISPLAY = $ DISPLAY nvcr.io/nvidia/deepstream:5.1-21.02-triton

杰森
~~~~~~~
Triton Inference Server共享库是Jetson上DeepStream的一部分预先安装的。安装Triton Inference Server不需要额外的步骤。
对于这两个平台，要运行示例，请遵循README的``运行Triton Inference Server示例''部分中的步骤：``/opt/nvidia/deepstream/deepstream-5.1''

翻译自 https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_Quickstart.html