终端侧生成式AI时代已经来临｜中国AIGC产业峰会

AI手机、AI PC硬件新物种正崭露头角。

高通作为技术及芯片厂商，所提供的产品和解决方案正在推动AIGC相关产业的规模化扩展。

在本次AIGC产业峰会上，高通公司Al产品技术中国区负责人万卫星分享了这样的观点：

2024年，高通会重点支持多模态模型以及更高参数量的大语言模型在端侧的部署。而高通顶尖的异构计算设计使AI能力贯穿整个SoC，将CPU、GPU和NPU的能力都充分释放给开发者。

同时，借助高通AI Hub，开发者可以轻松地开发自己的创新AI应用，就 像**“把大象塞入冰箱”**一样简单。

为了完整体现万卫星的思考，在不改变原意的基础上，量子位对演讲内容进行了编辑整理，希望能给你带来更多启发。

中国AIGC产业峰会是由量子位主办的行业峰会，20位产业代表与会讨论。线下参会观众近千人，线上直播观众300万，获得了主流媒体的广泛关注与报道。

话题要点

• 基于图像语义理解的多模态大模型发展是当下的重要趋势。

• 芯片厂商如何满足生成式AI多样化的要求。

• 虚拟化身AI助手，充分利用高通异构计算能力的端到端用例解析。

• 利用高通AI Hub进行应用开发的过程就像“把大象塞进冰箱”一样简单。

以下为万卫星演讲全文：

终端侧生成式AI时代已经来临

我们相信，终端侧生成式AI时代已经来临。

高通在2023年10月发布的第三代骁龙8和骁龙X Elite两款产品上，已经实现了大语言模型完整地在端侧运行，并且已经或即将为众多AI手机和AI PC提供支持。

在手机方面，去年年底和今年年初，包括三星、小米、荣耀、OPPO和 vivo 等众多OEM厂商发布的Android旗舰产品，都已经具备了在端侧运行生成式AI的能力。

基于图像语义理解的多模态大模型发展是当下的重要趋势。

在今年2月的MWC巴塞罗那期间，高通也展示了全球首个在Android手机上运行的多模态大模型（LMM）。

具体来说，我们在搭载第三代骁龙8的参考设计上运行了基于图像和文本输入、超过70亿参数的大语言和视觉助理大模型（LLaVa），可基于图像输入生成多轮对话。

具有语言理解和视觉理解能力的多模态大模型能够赋能诸多用例，例如识别和讨论复杂的视觉图案、物体和场景。

设想一下，有视觉障碍的用户就可以在终端侧利用这一技术，实现在城市内的导航。同时，高通在骁龙X Elite上也演示了全球首个在Windows PC上运行的音频推理多模态大模型。

接下来看看高通作为技术及芯片厂商，如何满足生成式AI多样化的要求。

不同领域的生成式AI用例具有多样化的要求，包括按需型、持续型和泛在型用例，其背后所需的AI模型也是千差万别，很难有一种处理器可以完美适用所有生成式AI用例或非生成式AI用例。

比如，有些用例需要进行顺序控制，对时延比较敏感；有些用例是持续型的，对算力和功耗比较敏感；有些用例需要始终在线，对功耗尤其敏感。

高通公司推出的高通AI引擎就是领先的异构计算系统，它包含多个处理器组件，包括通用硬件加速单元CPU和GPU、专门面向高算力需求的NPU，以及高通传感器中枢，它们在AI推理过程中扮演不同角色。

前面提到的顺序执行的按需型任务，可以运行在CPU或GPU上；对AI算力要求比较高的持续型任务，例如影像处理、生成式AI等，都可以运行在NPU上；对于需要始终在线、对功耗尤其敏感的任务，可以运行在高通传感器中枢上。

简单介绍一下高通NPU的演进路线，这是非常典型的由上层用例驱动底层硬件设计的案例。

2015年及更早之前，AI主要用于一些比较简单的图像识别、图像分类用例，所以我们给NPU配置了标量和向量加速器。

2016—2022年间，计算摄影概念开始流行，我们把研究方向从图像分类转移到了AI计算摄影及视频等等，包括对自然语言理解和处理的支持，以及对Transformer模型的支持，我们给NPU硬件在标量和向量加速器的基础之上，增加了张量加速器。

2023年，大模型热度很高，我们在业内率先完成了端侧的大模型支持，给NPU配置了专门的Transformer加速模块。

2024年，我们会重点支持多模态模型，以及更高参数量的大语言模型在端侧的部署。

接下来为大家更深入的介绍高通Hexagon NPU。

第三代骁龙8上的Hexagon NPU不仅进行了微架构升级，还专门配置了独立的供电轨道，以实现最佳的能效。

我们还通过微切片推理技术支持网络深度融合，获取更极致的性能。

此外Hexagon NPU还集成了专门为生成式AI打造的Transformer加速模块，更高的DDR传输带宽，更高的主频等先进技术。

所有这些技术相结合，使得Hexagon NPU成为面向终端侧生成式AI的行业领先NPU。

接下来看一个具体案例，虚拟化身AI助手——这是非常典型的充分利用高通异构计算能力的端到端用例。

它包括众多复杂AI工作负载，首先需要自动语音识别（ASR）模型负责将语音信号转成文本，这部分工作负载可以运行在高通传感器中枢上；接下来会由大语言模型负责处理文本输入，生成回复和对话，这部分工作负载可以运行在NPU上；再通过文本生成语音（TTS）模型把文本输出转变成语音信号，这部分负载可以运行在CPU；最后由GPU模块负责基于语音输出同步完成虚拟化身渲染，这样就能得到一个端到端的用语音来交互的虚拟化身助手用例。

前面介绍了硬件技术，接下来分享一下高通平台的AI性能。

在智能手机领域，第三代骁龙8不管是在鲁大师AIMark V4.3、安兔兔AITuTu这些AI基准测试的总分方面，还是在MLCommon MLPerf推理：

Mobile V3.1的具体模型推理性能测试方面，表现都远超于竞品。在PC方面，骁龙X Elite在面向Windows的UL Procyon AI推理基准测试中，表现也超过了基于X86架构的竞品。

高通除了提供领先的硬件平台设计之外，也推出了一个跨平台、跨终端、跨操作系统的统一软件栈，叫做高通AI软件栈（Qualcomm AI Stack）。

高通AI软件栈支持所有目前主流的训练框架和执行环境，我们还为开发者提供不同级别、不同层次的优化接口，以及完整的编译工具链，让开发者可以在骁龙平台上更加高效的完成模型的开发、优化和部署。

值得强调的是，高通AI软件栈是一个跨平台、跨终端的统一解决方案，所以开发者只要在高通和骁龙的一个平台上完成模型的优化部署工作，便可以非常方便的将这部分工作迁移到高通和骁龙的其他所有产品上。

今年MWC巴塞罗那期间，高通发布了非常重量级的产品，高通AI Hub（Qualcomm AI Hub）。该产品面向第三方开发者和合作伙伴，可以帮助开发者更加充分的利用高通和骁龙底层芯片的硬件算力，开发出自己的创新AI应用。

利用高通AI Hub进行应用开发的过程就像“把大象塞进冰箱”一样简单。

第一步，根据用例选择所需模型。

第二步，选择需要部署的高通或骁龙平台。

第三步，只需要写几行脚本代码，就可以完成整个模型部署，在终端侧看到应用或算法的运行效果。

目前，高通AI Hub已经支持约100个模型，其中有大家比较关心的生成式AI模型，包括语言、文本和图像生成，也包括传统AI模型，例如图像识别、图像分割，自然语言理解、自然语言处理等等。具体的模型信息，欢迎大家访问高通AI Hub网站进行查询。

最后总结一下高通的AI领先优势。

第一，高通支持实现无与伦比的终端侧AI性能。

第二，高通具备顶尖的异构计算能力，使AI能力能够贯穿整个SoC，将CPU、GPU、NPU和高通传感器中枢的能力都充分释放给应用开发者。

第三，高通提供可扩展的AI软件工具，即前面提到的高通AI软件栈等。

最后，高通可以支持广泛的生态系统和AI模型。

高通AI Hub
AIHUB.QUALCOMM.COM

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】