基于Xilinx FPGA的Corazon-AI边缘智能解决方案

对 EdgeAI 不断增长的需求

传统上，人工智能解决方案都依赖于云，大部分数据过滤、修剪和计算都在云上进行。现在，在工业和智慧城市中，需要实时的先发制人行动，并在边缘进行决策和计算。

速度和隐私现在是各行各业和垂直领域的人工智能解决方案中的关键参数，影响着边缘技术的选择。从医学成像到智能交通管理等应用，现在需要具有更高硬件加速和更低延迟的高性能智能设备。

为了满足日益增长的 EdgeAI 设备需求和边缘 FPGA 的强大主张，iWave 推出了 Corazon-AI，这是一款围绕 Xilinx Zynq® UltraScale+ ™ MPSoC 构建的边缘 AI 解决方案。

FPGA、GPU 和 CPU 上的 AI 引擎

为了充分利用 CPU 内核上的 AI 引擎，采用了频率缩放来实现加速，随后增加了处理器内核的数量以扩展性能。对于程序员来说，这是一个挑战，需要瞄准多核平台并优化他的模型。这催生了 GPU，它提供了一个大规模的并行阵列解决方案来集成 AI 引擎。

实现吞吐量，再加上在开始处理之前等待所有输入的高批量大小，为增加延迟铺平了道路。GPU 解决方案在性能和延迟方面存在妥协，这让开发人员不得不做出艰难的决定。FPGA 上的 AI 引擎提供了更多的并行性，提高了 AI 引擎的能力，同时以更小的批量实现了更好的直通量。因此，FPGA 可以为性能和延迟之间的折衷提供解决方案。

当 AI 引擎在 FPGA 上运行时，可以在基本逻辑端口级别自定义处理功能。该配置允许直接访问硬件 I/O，而不会出现内部总线结构的延迟。这提供了来自特殊硬件接口的数据的即时高延迟处理和对输入数据的实时操作。这使得 FPGA 的响应速度更快，并允许更专用的特殊用途创新操作。

因此，FPGA 在分析灵活性、延迟、性能和优化时似乎是领跑者，并认为是边缘 AI 的理想选择。

Corazon -AI – 人工智能的核心

Corazon-AI 集成了称为 DPU（深度学习处理器单元）的 Xilinx® FPGA AI 引擎，用于执行 AI 应用加速。DPU 是一个可配置的计算引擎，专用于卷积神经网络并进行了优化。

Corazon-AI 具有可连接 8 台 IP 摄像机、多台 USB 摄像机和一台 SDI 摄像机的接口。捕获由内置 AI 推理引擎主动处理的多角度高分辨率视频帧的能力进一步增强了实力。

该设备支持高速连接（如双千兆以太网）和多种无线连接选项（如 Wi-Fi、蓝牙和蜂窝连接），可以在必要时与云和服务器通信，并且是模块化架构。

Corazon-AI的理想应用是智能收费管理系统。通过连接 8 个 IP 摄像机，跨通道的摄像机可以同时捕获单个图像和视频流，并在每个输入流上同时运行模型。决策和数据过滤可以在边缘完成，无需在每个收费站设置多个网关。目前，整个视频流从收费站传输到控制中心，在那里可以进行决策和处理。

Corazon-AI可以完美地适应需要连接多个摄像头以及需要在边缘进行计算和数据驱动决策的应用，例如交通管理，视频监控，智能停车和自动视频检查分类。

DPU 有助于实现高吞吐量和低延迟：

DPU 具有可配置的硬件架构（B512、B800、B1024、B1152、B1600、B2304、B3136 和 B4096）。每个 DPU 架构能够配置多达 3 个内部内核。此外，还提供专用 AXI 接口，用于指令访问、配置访问和数据访问。数据访问 AXI 主接口支持 64 位或 128 位的可配置宽度，能够进行卷积、反卷积和深度卷积。

图 1：DPU 在不同配置下的峰值理论性能。

图 2：多个模型的性能

*这些模型是使用 XILINX 修剪工具修剪的

* 精度基于 8 位固定量化

* 在具有 4096 个线程的单核 B16 的 Corazon-AI 平台上测量

关于iWave Systems Technologies Pvt. Ltd.：

关于iWave Systems： iWave Systems Technologies Pvt. Ltd.成立于1999年，专注于涉及嵌入式硬件和软件、FPGA设计和开发的产品工程服务。拥有超过 18 年的 FPGA 经验，提供定制设计服务和各种 XILINX 系统级模块 – ZYNQ 7000 系列和 Ultra Scale+ MPSoC 系列。

如有查询及进一步资讯，请电邮 mktg@iwavesystems.com