NVIDIA DeepStream SDK 说明及链接

NVIDIA DeepStream SDK

DeepStream 的多平台支持为您提供了一种更快、更简单的方式来开发视觉AI应用程序和服务。您甚至可以在本地、边缘和云中部署它们，只需单击一个按钮。

开始   在Launchpad上试用

---

什么是 NVIDIA DeepStream？

NVIDIA 的 DeepStream SDK 是一个基于 GStreamer 的完整流分析工具包，用于基于 AI 的多传感器处理、视频、音频和图像理解。它非常适合视觉 AI 开发人员、软件合作伙伴、初创公司和OEM构建 IVA 应用程序和服务。

您现在可以创建流处理管道，其中包含神经网络和其他复杂的处理任务，如跟踪、视频编码/解码和视频渲染。这些管道可以对视频、图像和传感器数据进行实时分析。

DeepStream 是 NVIDIA Metropolis, 不可或缺的一部分，该平台用于构建端到端服务和解决方案，将像素和传感器数据转化为可操作的见解。

福利

强大灵活的SDK

DeepStream SDK非常适合广泛行业的各种用例。

多种编程选项

使用C/C++、Python或Graph Composer简单直观的UI创建强大的视觉AI应用程序。

实时洞察

了解边缘丰富的多模态实时传感器数据。

托管人工智能服务

在云原生容器中部署AI服务，并使用库伯内特斯编排它们。

TCO降低

通过使用TAO工具包训练、调整和优化模型以及使用DeepStream部署模型来提高流密度。

---

独特能力

享受从边缘到云的无缝发展

DeepStream为您提供了一种更快、更简单的方式来构建基于AI的视频、音频和图像分析的无缝流媒体管道。它附带40多个hardware-accelerated插件和扩展，以优化前/后处理、推理、多目标跟踪、消息代理等。此外，它还提供了一些世界上性能最好的实时多对象跟踪器。

使用DeepStream的现成容器轻松构建云原生应用程序，这些应用程序可以部署在公共和私有云、由NVIDIA GPU驱动的工作站或NVIDIA Jetson上。其“一次开发，随处部署”方法简化了代码管理并提供了极大的可扩展性。DeepStream Container Builder工具还可以更轻松地使用NVIDIA NGC容器构建高性能、云原生AI应用程序，这些容器可以轻松大规模部署，并使用库伯内特斯和Helm Charts进行管理。

DeepStream REST-API可让您在运行时管理多个参数，简化SaaS解决方案的创建。使用标准REST-API接口，您可以构建用于控制和配置的Web门户，或集成到您现有的应用程序中。

了解更多

构建端到端AI解决方案

通过使用NVIDIA Metcity is构建端到端视觉AI系统，加快整体开发工作并解锁更高的实时性能。从生产质量的视觉AI模型开始，使用TAO Toolkit对其进行调整和优化，并使用DeepStream进行部署。

获得令人难以置信的灵活性——从快速原型设计到完整的生产级解决方案——并选择您的推理路径。通过原生集成到NVIDIA Triton™推理服务r，您可以在PyTorch和TensorFlow等原生框架中部署模型进行推理。使用NVIDIA TensorRT™用于高吞吐量推理，具有多GPU、多流和批处理支持选项，也有助于您实现最佳性能。

PipeTuner 1.0是一种新的开发人员工具，现在可以轻松调整广泛的参数，以优化AI管道以进行推理和跟踪

了解更多

加速视觉AI开发

DeepStream SDK捆绑了30多个示例应用程序，旨在帮助您启动开发工作。大多数示例提供C/C++、Python和Graph Composer版本，并在NVIDIA Jetson和dGPU平台上运行。通过支持Windows Subsystem forLinux（WSL2），您现在可以在Windows环境中进行开发，而无需访问远程Linux系统。

DeepStream Service Maker通过抽象GStreamer的复杂性来简化开发过程，从而轻松构建C++面向对象的应用程序。使用Service Maker只需几行代码即可构建完整的DeepStream管道

DeepStream库由CV-CUDA、NvImageCodec和PyNvVideoCodec提供支持，提供低级GPU加速操作，以优化视觉AI管道的前期和后期阶段。

Graph Composer为DeepStream开发人员提供强大的低代码开发选项，以创建复杂的管道并使用Container Builder快速部署它们。

了解更多

创建下一代人工智能应用程序

严格的调度控制、自定义调度器和高效的资源管理对于与机械臂和自动化质量控制线等确定性系统集成至关重要。

随着图形执行格式（GXF）的引入，与DeepStream管道处理的视觉流传感器相比，可以轻松地与运行在不同时域的控制信号集成。

新的参考应用程序可帮助您快速启动生成式AI应用程序的开发。对传感器融合的新支持BEVFusion增加了激光雷达和雷达输入，可以与相机输入融合，为开发人员带来了一系列新的用例。

了解更多

为Vision AI提供生产就绪的解决方案

DeepStream是英伟达人工智能企业的一部分，英伟达人工智能企业是一个端到端、安全、云原生的人工智能软件平台，经过优化，可将企业加速到人工智能的前沿。
英伟达人工智能企业为英伟达人工智能开源软件提供验证和集成，访问人工智能解决方案工作流程以加快生产时间，在任何地方部署人工智能的认证，以及企业级支持、安全性和应用编程接口稳定性，以降低开源软件的潜在风险。

了解更多

---

探索多种编程选项

C/C++

用C/C++创建应用程序，直接与GStreamer和DeepStream插件交互，并使用参考应用程序和模板。

了解更多关于C/C++

蟒蛇

DeepStream管道可以使用Gst Python构建，GStreamer框架的Python绑定。绑定和Python示例应用程序的源代码可在GitHub上获得。

了解有关Python的更多信息

Graph Composer

Graph Composer是一个低代码开发工具，增强了DeepStream用户体验。使用简单、直观的UI，处理管道通过拖放操作构建。

了解更多关于Graph Composer

---

提高准确性和实时性能

					Jetson Orin Nano	Jetson Orin NX			Jetson Orin AGX™			T4	A2	A10	A30	A100	H100	L40	L4	Quadro（A6000）	A4000	L4000	ARM SBSA
应用	型号	跟踪器	推断分辨率	精密	GPU	GPU	DLA1	DLA2	GPU	DLA1	DLA2	GPU	GPU	GPU	GPU	GPU	GPU	GPU	GPU	GPU	GPU	GPU	GPU
人检测	PeopleNet-ResNet34（v2.3.3）	无跟踪器	960x544	INT8	256	372	175	175	970	329	329	912	610
								77	318	196	196	429	295	1009	1229	2040	2936	1870	701	1301	746	623	3613
	PeopleNet-ResNet34（v2.3.3）	NvDCF（性能）	960x544	INT8	215	315	170	170	625	310	310	866	568	2063	2806	4250	6103	4278	1563	2855	1277	1413	5788
车牌识别	TrafficCamNet LPDNet LPRNet	NvDCF	960x544 640x480 96x48	INT8 INT8 FP16	120	180	-	-	370	-	-	382	253	1071	1327	2150	2801	2280	741	1404	788	670	N/A
3D人体姿态估计	PeopleNet-ResNet34 BodyPose3D	NvDCF	960x544 192x256	INT8 FP16	28	-40	-	-	76	-	-	101	67	160	128	151	255	226	200	235	148	104	313
动作识别	ActionRecognitionNet（3DConv）	无跟踪器	224x224x3x32	FP16	34	51	-	-	147	-	-	173	74	450	552	996	1270	<--atag--37/>870	313	638	319	300	1910

RTX GPU性能仅针对旗舰产品进行报告。所有SKU都支持DeepStream。

DeepStream SDK可让您将AI应用于流式视频，同时优化视频解码/编码、图像缩放以及转换和边缘到云的连接，以实现完整的端到端性能优化。

要了解有关使用DeepStream的性能的更多信息，请查看留档。

---

阅读客户故事

优化班加罗尔机场的运营

Industry.AI使用包括DeepStream在内的英伟达大都会堆栈来提高机场的安全性和效率。使用视觉人工智能，它能够跟踪被遗弃的行李，标记长长的乘客队列，并提醒安全团队注意潜在问题。

阅读博客

加强配送中心运营

KoiReader使用包含DeepStream SDK的NVIDIA开发人员工具开发了一种人工智能驱动的机器视觉解决方案，以帮助百事可乐在动态分销环境中实现精度和效率。

了解更多关于KoiReader

扩展人工智能驱动的智能空间

FYMA使用NVIDIA DeepStream和NVIDIA Triton™来改进人工智能驱动的空间分析，帧速率超过以前的基准10倍，准确度提高3倍。

了解更多

---

一般常见问题

DeepStream是开源的吗？

DeepStream是一个闭源SDK。请注意，所有参考应用程序的源代码和几个插件都可用。

可以使用DeepStream SDK部署哪些应用程序？

DeepStream SDK可用于构建端到端人工智能驱动的应用程序来分析视频和传感器数据。一些流行的用例是零售分析、停车管理、管理物流、光学检测、机器人和运动分析。

哪些平台和操作系统与DeepStream兼容？

请参阅平台和操作系统兼容性表。

我可以使用DeepStream在TensorFlow或PyTorch中本地运行我的模型吗？

是的，现在通过集成Triton推理服务器，这是可能的。还有DeepStream6.1.1，应用程序可以使用gPRC与Triton推理服务器的独立/远程实例进行通信。

如何使用DeepStream从TAO Toolkit部署模型？

DeepStream支持开箱即用的几种流行网络。例如，DeepStream支持MaskRCNN。此外，DeepStream还附带了一个示例来运行流行的活在当下的模型，FasterRCNN、SSD和RetinaNet。

NVIDIA Ampere架构GPU是否支持DeepStream？

是的，DS 6.0或更高版本支持安培架构

DeepStream SDK是否支持音频分析？

是的，DeepStream SDK6.1.1支持音频。要开始使用，请下载软件并查看参考音频和自动语音识别（ASR）应用程序。阅读ASR DeepStream插件了解更多信息