Jetson 实现实时多摄像头管道

多摄像头应用越来越流行；它们对于实现自主机器人、智能视频分析（ IVA ）和 AR / VR 应用至关重要。无论具体的用例如何，都必须始终执行一些常见任务：

• 俘虏
• 预处理
• 编码
• 陈列

在许多情况下，您还希望在摄像头流上部署 DNN ，并在检测上运行自定义逻辑。图 1 显示了应用程序的一般流程。

图 1 。本项目实施的管道流程

在本文中，我将展示如何在 NVIDIA Jetson 平台上高效地实现这些常见任务。具体来说，我介绍了 jetmulticam ，一个易于使用的 Python 软件包，用于创建多摄像头管道。我在一个带有环绕摄像头系统的机器人上演示了一个特定的用例。最后，我添加了基于 DNN 对象检测的自定义逻辑（人员跟踪），以获得以下视频中显示的结果：

 演示显示了 3 个独立摄像头，视野约为 270 °。红色框对应 DashCamNet 检测，绿色框对应 PeopleNet 。 PeopleNet 检测用于执行人员跟踪逻辑 。

多摄像头硬件

选择相机时要考虑的参数有很多：分辨率、帧速率、光学、全局/滚动快门、界面、像素大小等。有关 NVIDIA 合作伙伴提供的兼容摄像头的更多信息，请参阅 comprehensive list 。

在这个特定的多摄像头设置中，可以使用以下硬件：

• NVIDIA Jetson Xavier NX 单元
• Leopard Imaging 提供的支持 GMSL2 的 carrier board
• Leopard Imaging 的 3 × IMX185 GMSL2 cameras

IMX185 摄像头的视野约为 90 °。如图 2 所示，以 270 °的总视场相互