新的 AI/ML 处理器支持智能边缘设备的 SoC 和小芯片

CEVA, Inc. 推出了用于人工智能和机器学习 (AI/ML) 推理工作负载的最新一代处理器架构。新的 NeuPro-M 是一个独立的异构架构，由多个专用协处理器和可配置的硬件加速器组成，可无缝同时处理深度神经网络的各种工作负载，与前代产品相比，性能提高了 5-15 倍。

新架构支持片上系统 (SoC) 和异构 SoC (HSoC) 可扩展性，可实现高达 1,200 TOPS，并提供可选的稳健安全启动和端到端数据隐私。NeuPro–M 兼容处理器最初包括以下预配置内核：

NPM11 – 单个 NeuPro-M 引擎，在 1.25GHz 时高达 20 TOPS
NPM18 – 8 个 NeuPro-M 引擎，在 1.25GHz 时高达 160 TOPS
作为其性能的一个例子，单个 NPM11 内核在处理 ResNet50 卷积神经网络时，与前代产品相比，性能提升了 5 倍，内存带宽减少了 6 倍，从而实现了高达 24 TOPS/W 的功率效率。

NeuPro-M 能够处理所有已知的神经网络架构，以及对下一代网络（如转换器、3D 卷积、自注意力和所有类型的递归神经网络）的集成原生支持。NeuPro-M 经过优化，可处理 250 多个神经网络、450 多个 AI 内核和 50 多个算法。嵌入式矢量处理单元 (VPU) 确保基于未来的软件支持新的神经网络拓扑和 AI 工作负载的新进展。此外，CDNN 离线压缩工具可以将 NeuPro-M 的 FPS/Watt 提高 5-10 倍，用于常见基准测试，对准确性的影响非常小。

CEVA 视觉业务部副总裁兼总经理 Ran Snir 评论说：“随着越来越多的数据产生和传感器-相关的软件工作负载继续迁移到神经网络以获得更好的性能和效率。由于这些设备的功率预算保持不变，我们需要在这些日益复杂的系统中找到在边缘利用 AI 的创新