Arm：让边缘AI更智能更高效

Arm物联网事业部业务拓展副总裁马健（Chloe Ma）女士 

近日，Arm 物联网事业部业务拓展副总裁马健（Chloe Ma）女士为行业媒体做了线上采访，就当前边缘人工智能（AI）发展演进以及Arm针对市场需求推出新一代Ethos-U85 AI 加速器及全新物联网参考设计平台 Arm Corstone-320做了介绍。

边缘AI的发展演进

“我们身处于每个人的口袋里都揣着一个或者多个‘超级计算机’的时代，而 Arm 在这个时代的演进中，将计算资源部署于边缘和终端，在提升响应速度与可靠性、节省带宽资源、保护隐私与数据安全，以及降低成本等方面都具有明显优势。”马健如是开场。

她首先介绍了边缘智能的演进过程：“边缘智能的演进历史可以追溯到早期嵌入式系统，比如家用空调、电表等设备都会内置嵌入式处理器，从而实现控制和设备管理等简单功能。本世纪初，随着网络和互联网技术的进步，物联网 (IoT) 应运而生，并通过 Wi-Fi、蓝牙、ZigBee、窄带物联网 (NB-IoT)、LoRa 等协议连接万物。物联网的兴起极大推动了边缘计算设备的普及，这些系统具备更强的处理能力和连接性，使得数据处理更加靠近数据源。而随着机器学习 (ML)和人工智能 (AI)技术的发展，智能设备不仅能够执行任务，还能够学习和适应。特别是近来，伴随着 Transformer 与大模型的发展，AI 模型的普适性、多模态支持，以及模型微调效率都有了质的突破，加上低功耗的 AI 加速器和专用芯片被集成到终端设备中，边缘智能正变得越来越自主和强大。”

边缘 AI 潜力巨大，有望助力多个领域持续向智能化方向演进与转型。在这个发展过程中，“Arm 的客户与生态伙伴在智能家居、智能零售与智能制造等领域不断创新，进而实现感知、决策与行动的闭环，提高自动化水平。”马健表示。

具体来说，在智能家居应用中，人们现在大多是通过智能手机中的不同应用来手动控制各种电器开关与设置。在可预见的未来，AI 模型就像一个家庭“大脑”，可以综合家里各类传感器、摄像头，以及外部天气、家人喜好、自然语言命令等多种输入，更安全、更节能地营造个性化的家居环境。AI 和大模型还将使零售业变得更加智能化、个性化和自动化。通过个性化购物体验、智能库存管理、动态定价策略、线上线下无缝整合，以及自动化运营等，带来更高的效率和更卓越的客户体验。AI 和大模型还有望推动工业 4.0 向工业 5.0 的转变，实现智能化生产线、精准的质量控制、个性化定制生产、供应链优化、自主维护与远程监控、人机协作、节能减排，以及新材料和工艺的开发等，为制造业带来一场深刻的变革。

伴随着AI技术的蓬勃发展，Arm 在过去十年进行了大量投资。马健介绍：“起初，我们聚焦在优化各类传感器必需的嵌入式处理器上，致力于实现超低成本、低功耗和小面积，并支持控制级代码的开发。随着万物互联的发展，连接使边缘算力和安全性变得越来越重要，Armv8-M 和 Arm TrustZone 等技术应运而生，增强了算力与安全。而随着边缘与端侧 AI 推理需求的增长，在嵌入式领域，Arm 引入了 Armv8.1-M。Arm Helium 技术使 CPU 能够执行更多计算密集型的 AI 推理算法。此后又推出了 Arm Ethos 系列 AI 加速器，以满足更高性能和更复杂的 AI 工作负载。”

与此同时，系统变得愈加强大，其复杂度也随之提升。软硬件必须协同工作才能释放 AI 处理的最大潜能。“Arm 不仅仅聚焦处理器 IP，更在软件与工具链方面加强投资，确保领先行业，以满足更简单、快速的高性能边缘 AI 系统的开发需求，支持诸多 AI 算子与应用在 Arm 计算平台上的优化运行，使边缘 AI 在 Arm 平台上枝繁叶茂。当然，我们必须和生态伙伴齐心协力，才能达成这一目标。”马健介绍了Arm的市场发展策略。

Arm 第三代面向边缘 AI 的NPU 产品

— Ethos-U85

 “之前，面对市场需求，Arm推出业界首款 AI 微加速器Ethos-U NPU，英飞凌、恩智浦半导体、奇景光电 (Himax)、Alif Semiconductor 和 Synaptics 等均已推出搭载 Ethos-U 的量产芯片。”马健介绍，而现在，Arm又推出全新的Arm Ethos-U85，“它为高性能边缘 AI 应用带来了四倍的性能提升，20% 的能效提升，并保持与前几代Ethos U系列产品一致工具链，可实现无缝的开发者体验。它支持从 128 ~2048 个 MAC 单元的配置，在最高性能配置下提供 4TOPs 的 AI 算力，以可持续的方式支持未来的应用场景。”马健说:”我们期待看到 Ethos-U85 在智能家居、零售、工业等新兴的边缘 AI 应用场景中得到持续部署，满足对更高性能计算的需求，并支持最新的 AI 框架。”

图：Arm Ethos-U85 提供卓越的神经网络加速功能

在AI方面，基于 Transformer 的模型具有优异的泛化功能，它将更快地驱动新 AI 应用的发展。在视觉和生成式 AI 用例中，比如视频理解、图文结合，图像增强与生成、图像分类和目标检测等方面，Transformer 都极具价值。Transformer 架构网络的注意力机制容易利用并行计算来实现，提高硬件使用效率，使得这些模型能够部署在计算资源有限的边缘设备上。开发者可以通过选用针对 Transformer 架构网络优化的设计，发掘边缘 AI 的新机遇，使这些应用享有更快的推理、更优化的模型性能和可扩展性。

为此，在算子支持方面，Ethos-U85 增加了对Transformer架构网络的支持，这是优化大模型边缘落地微调时间、提升模型泛化的一个关键特性。Ethos-U85不仅提供卷积神经网络 (CNN) 所需的权重矩阵乘的运算，还支持矩阵相乘，这是Transformer 架构网络的基本组成部分。开发者可以通过选用针对 Transformer 架构网络优化的设计，发掘边缘 AI 的新机遇，使这些应用享有更快的推理、更优化的模型性能和可扩展性。

此外，Ethos-U85 不仅支持低功耗 MCU 系统中的 AI 加速，还支持高性能边缘计算。“在高性能边缘计算系统中，我们越来越多地看到应用处理器、以及Linux 等标准操作系统，和高级开发语言的部署。这种模式更有利于云原生开发和云边端负载调度。尤其是在处理数据量日益增长的 AI 应用系统中，这个趋势尤为显著。Ethos-U85 能够很好地支持这些需求，加上Arm领先的Armv9 Cortex-A CPU，将加速实现基于应用处理器的智能物联网平台上运行的 AI 任务。这将使 Ethos-U85 能够在工业机器视觉、边缘网关、可穿戴设备和消费类机器人等应用中，带来高效能的边缘推理。”马健说。

全新智能物联网参考设计平台

— Arm Corstone-320

而为了帮助合作伙伴简化系统开发，加快上市时间，Arm还推出了最新的具备 Ethos-U85 的边缘 AI 参考设计平台Arm Corstone-320，这是一个全新的智能物联网参考设计平台。

据悉，全新参考设计平台包含了 Cortex-M 系列最高性能的嵌入式处理器 Cortex-M85，以及全新的 Ethos-U85 NPU AI 加速器。同时，由于视觉在多模态感知中起到了关键作用，许多边缘 MCU 和传感器系统越来越依赖于视觉和图像感知，Corstone-320 还包含了 Arm Mali-C55 ISP，以实现为视觉应用优化的低功耗系统。

据介绍，此参考设计针对实际工作负载而开发，参考用例包括部署在智能家居中的电池供电摄像系统，以及在工业和零售系统中的低帧率网络摄像头。同时，Corstone-320 参考设计提供了有安全保证的软硬件组合，使得在此参考设计基础上开发的合作伙伴们能够顺利地通过 PSA Certified Level 2 认证，实现对区域和全球安全标准的合规。“通过 Corstone-320 预先集成、预先验证的参考设计模版，Arm 能帮助合作伙伴减少边缘智能芯片开发的成本和时间。”马健说。

而与此前推出的其他Arm物联网参考设计一样，Corstone-320 不仅仅提供芯片计算子系统 IP 组合，还附带了软件、AI 模型库和开发工具，以实现软件的复用。同时利用Arm 强大的生态系统，它还附带了仿真 Corstone-320 完整系统的 Arm 虚拟硬件，以及单独的 CPU 和 NPU 的固定虚拟平台 (FVP) 模型，以简化开发并加速产品设计，支持软硬件并行协同开发。这种提供边缘 AI 和智能物联网计算子系统全套软硬件和工具链的方法，使得Arm合作伙伴能够在一系列性能点上快速开发，打造差异化价值。

图：Arm 助力加速边缘 AI 设备部署进程

生态系统

“简单易用才更适于普及推广，这也是为什么随着边缘 AI 的持续扩展，物联网生态链上下游的芯片与系统供应商、算法软件开发者与集成商们越来越汇聚在 Arm 计算平台。”马健介绍。经过多年生态链的拓展与深化， Arm 计算平台能提供 AI 从云到端、现代敏捷开发和部署流程中所需的特性和功能，实现基于量产验证的一致架构，并采用统一工具链的 AI 转型。包括开发者、数据科学家、学术界在内的 AI 研究开发社区，围绕 Arm 计算平台构建日益增长的软件和工具生态系统，以及开源软件库和 AI 框架。

“比如大家熟知的 PyTorch 开源 ML 框架，广泛用于构建和训练神经网络模型，我们很高兴看到 PyTorch 基金会投资边缘 AI，发布针对移动和边缘设备推理工具包 ExecuTorch，提供了轻量级运行时 (Runtime) 和算子注册表，覆盖了 PyTorch 生态系统中的各类模型。此外，由于 Arm 特有的 IP 授权许可模式和开放生态，OEM 和 ODM 可以有多种基于 Arm 架构和计算平台的芯片与模组选择，灵活地开发最终应用的系统方案。”马健说。

机遇与挑战

“边缘 AI 既带来了机遇，也带来了挑战。在设计边缘 AI 芯片和系统时，需要在计算能力和能效之间找到合适的平衡。高性能的处理能力往往伴随着更高的功耗，而边缘设备往往对功耗和成本都有着严格限制。与此同时，随着越来越多的数据在边缘被处理，数据安全和隐私保护变得尤为重要。这要求芯片设计必须包含加密和安全功能。边缘用例五花八门，传统物联网市场存在碎片化，为了更好地统一多样化的应用要求，达到规模化效益，软件定义和适于软件移植的标准更是必不可少。”马健表示。

边缘 AI 还将随着大模型和生成式 AI 崛起，用户体验的持续提升、数据量激增，以及企业对数据价值的认可，将使行业经历巨大变化，例如在设备上实现实时语言翻译等。“随着大模型持续通过量化、剪枝和聚类技术来缩减优化模型，使大模型适于在边缘和超级终端设备部署，我们看到了大小模型云边端结合成为未来 AI 产品的重要发展趋势，也是 AI 应用赋能行业发展的重要方向。我们已经看到生态系统中的开发者在树莓派设备上评估运行包括 LLaMA 等在内的大模型。边缘部署大模型和生成式 AI 用例指日可待，而 Arm 已经为此做好准备，来挑战物联网与大模型、多模态 AI 结合的性能与效率极限。”马健说。

智能无处不在，云边端缺一不可。目前，全球约有 90% 的 AI 都运行在基于 Arm 架构的 CPU 上，这些持续投入使 Arm 成为全球最普遍的 AI 计算平台之一，吸引了越来越多的开发者加入。“从 Cortex-M 嵌入式处理器的 Helium 矢量增强指令集，到 Cortex-A 应用处理器的 SVE、SVE2、SME 对矢量和矩阵运算的优化，再到 Ethos-U AI 加速器，随着边缘 AI 的持续发展，Arm 始终处于推动市场和技术进步的核心地位，但我们不会止步于此。”马健表示。

如果您对边缘AI、算力网络、垂直行业边缘计算应用场景感兴趣，诚挚邀请您参加2024全球边缘计算大会·深圳站，相信边缘的力量！预见·边缘大模型！