AIGC专题报告：通过NPU和异构计算开启终端侧生成式AI

今天分享的是AIGC系列深度研究报告：《AIGC专题：通过NPU和异构计算开启终端侧生成式AI》。

（报告出品方：Qualcomm）

摘要

生成式 AI 变革已经到来。随着生成式AI 用例需求在有着多样化要求和计算需求的垂直领域不断增加，我们显然需要专为 AI定制设计的全新计算架构。这首先需要一个面向生成式 AI 全新设计的神经网络处理器(NPU)，同时要利用异构处理器组合，比如中央处理器(CPU)和图形处理器(GPU)。通过结合 NPU 使用合适的处理器，异构计算能够实现最佳应用性能、能效和电池续航，赋能全新增强的生成式 AI体验。

NPU 专为实现低功耗加速AI推理而全新打造，并随着新 AI1用例、模型和需求的发展不断演进。

优秀的 NPU 设计能够提供正确的设计选择，与AI行业方向保持高度一致。

高通正在助力让智能计算无处不在。业界领先的高通 Hexagon"NPU 面向以低功耗实现持续稳定的高性能A1推理而设计。高通 NPU的差异化优势在于系统级解决方案、定制设计和快速创新。通过定制设计 NPU 以及控制指令集架构(ISA)，高通能够快速进行设计演进和扩展，以解决瓶颈问题并优化性能。Hexagon NPU是高通业界领先的异构计算架构--高通A1 引擎中的关键处理器，高通A1引擎还包括高通 Adreno” GPU、高通Kryo”或高通 Oryon”CPU、高通传感器中枢和内存子系统。这些处理器为实现协同工作而设计，能够在终端侧快速且高效地运行A应用。我们在 AI基准测试和实际生成式 AI应用方面的行业领先性能就是例证。

我们还专注于在全球搭载高通和骁龙平台的数十亿终端设备上实现便捷开发和部署，赋能开发者。利用高通AI软件栈(QualcommAlStack)，开发者可在高通硬件上创建、优化和部署AI应用，一次编写即可实现在不同产品和细分领域采用高通芯片组解决方案进行部署。高通技术公司正在赋能终端侧生成式A 的规模化扩展。

处理器集成于 SoC 中的诸多优势

在不断增长的用户需求、全新应用和终端品类以及技术进步的驱动下，计算架构正在不断演进。最初，中央处理器(CPU)就能够完成大部分处理，但随着计算需求增长，对全新处理器和加速器的需求出现。例如，早期智能手机系统由 CPU和环绕 CPU分布的分立芯片组成，用于2D图形、音频、图像信号处理、蜂窝调制解调器和 GPS等处理。随着时间推移，这些芯片的功能已经集成到称为系统级芯片(SoC)的单个芯片体(DIE)中。例如，现代智能手机、PC和汽车 SoC 已集成多种处理器，如中央处理器(CPU)、图形处理器(GPU)和神经网络处理器(NPU)。芯片设计上的这种集成具有诸多优势，包括改善峰值性能、能效、单位面积性能、芯片尺寸和成本。

例如，在智能手机或笔记本电脑内安装分立的GPU或NPU会占用更多电路板空间，需要使用更多能源，从而影响工业设计和电池尺寸。此外，输入/输出引脚间的数据传输也将增多，将导致性能降低、能耗增加，以及采用更大电路板带来的额外成本和更低的共享内存效率