量子位公众号 QbitAI
从 PC 到手机，甚至是智能穿戴……这些端侧设备正与 AI 进行着一场“双向奔赴”。
一方面，端侧设备的性能提升，给 AI 提供了新的土壤；
另一方面，AI 正在改变端侧设备的使用方式和体验。
除了设备对 AI 的原生支持之外，第三方的 AI 应用，特别是生成式 AI 应用，也开始在端侧生根发芽。
在这背后，无论是应用还是设备本身，都不可避免地涉及一个问题——算力。
而芯片又是算力的重要载体，因此在端侧 AI 生态中，芯片厂商扮演了不可或缺的角色，在竞争之中的表现也尤为积极。
近期，联发科举办了首届天玑开发者大会 2024(MDDC 2024)，从产品、技术、市场、生态等多维度激发并引领了移动生态的积极性与活力。会上，联发科推出了全新的旗舰 5G 生成式 AI 移动芯片 9300+；联合 Counterpoint 并携手多个生态伙伴共同发布《生成式 AI 手机产业白皮书》；分享了生成式 AI 端侧部署解决方案“天玑 AI 开发套件”；并启动“天玑 AI 先锋计划”，促进产业共创实现生态共赢。
算力，一切 AI 的基石
要研究 AI 的端侧化，首先要解答的一个问题是，有了表现遥遥领先的云端模型，还需要在端侧也部署 AI？
首先，安全是其中最大的考量——无论是企业还是个人，显然都不希望自己的机密或隐私在云上到处流传。
而端侧模型则解决了这一担忧，所有数据都在本地处理，无需担心泄漏问题。
其次，考虑性能因素，虽然云端模型表现更强，服务的用户数量也更多，但如果超出并发能力，就会出现延时排队的现象。
不仅是云端自身的吞吐量，网络的稳定性也会造成影响。
而本地模型只为单一用户服务，且无需联网，这一优势特性与云端 AI 有着明显的产品差异。
此外，端侧设备庞大的用户体量与黏着度，以及相对完整的应用生态，也说明了端侧部署 AI 的可行性，而手机则成为了部署端侧生成式 AI 的最佳载体。
解决了 AI 对端侧设备的需求问题，那么站在端侧设备的角度，又为什么需要 AI 功能呢？
在 AI 时代，用户对更智能、更个性化的服务当然会有更高的期待，现有的操作方式，会随着期待的升高显得越来越“不够智能”。
以手机为例，从按键到触屏可以说是操作方式的重大革新。
而在当前以 APP 为主的移动应用生态下，即使用触控代替了按键，也需要先选择好并点击具体的应用，才能实现自己的意图。
如果有了端侧 AI，具备多模态信息的输入与输出能力，能够直接根据用户意图调用功能，将是手机操控方式的又一次飞跃。
这样的功能，无疑有利于厂商提升旗舰机型实力，实现差异化竞争。
相互依存，各取所需，结果自然是 AI 和端侧设备的双向奔赴。
当然只谈需求也是不够的，之所以 AI 能够端侧化，算力是不可或缺的。
实际上，哪怕是云端，算力的地位同样举足轻重。
此次天玑开发者大会上全新发布的天玑 9300+ 旗舰 5G 生成式 AI 移动芯片，就包含了先进的 APU 790，提供了强劲的端侧 AI 算力。
当然，要讨论算力，不能只看硬件所能提供的 FLOPS（每秒浮点运算次数），还要看设备上运行的应用能不能将其充分调度、充分利用。
为此，联发科不仅推出了全新的天玑生成式 AI 移动芯片，还提供了天玑 AI 开发套件，包括快速高效的 GenAI 最佳实践、覆盖全球主流大模型的 GenAI Model Hub、高效提升性能的 GenAI 优化技术和 Neuron Studio 一站式视觉化开发环境等四大模块。
该套件将为广大开发者提供“快、全、强、易”的专业开发体验，赋能终端生成式 AI 应用开发全流程。
应用，AI 与用户的接口
除了算力，生态协作在端侧 AI 领域也是绕不开的话题，其中应用开发者是不可缺少的一环。
无论芯片还是设备，无论纸面上或实验室中的性能有多强，最终被用户感知的，依旧是运行应用时的能力。
所以，应用作为整个端侧生态中最接近用户的一环，其实际效果往往比参数量或其他技术指标，对普通消费者的选择影响更为直观。
意识到这一点之后，在同行还在参数量上卷的不可开交的时候，联发科已经在布局全场景 AI 应用了。
在天玑开发者大会上，联发科技携手阿里云、百川智能、传音、零一万物、OPPO、荣耀、vivo、小米多家生态伙伴共同启动“天玑 AI 先锋计划”，为全球开发者提供资源、技术支持和商业机会，帮助开发者在搭载天玑芯片的终端设备上打造创新的生成式 AI 体验，以加速推动 AI 应用落地。
目前，联发科已经携手阿里云通义千问、Cocos、Honor of Kings、虎牙直播、酷狗音乐、美图、全民K歌、RWKV、Soul、腾讯 AI Lab、小红书等数十家生态伙伴完成生成式 AI 应用落地体验，让用户在使用过程中直接感知到 AI 的存在。
以手机为例，在生成式 AI 应用中，被讨论最多的就是大模型，在天玑 AI 应用生态中，就有阿里云通义千问打造的端侧大模型应用。
离线状态下，利用天玑芯片的本地算力，基于通义千问模型的智能体也能像真人一样和用户对话，同时还支持根据用户需求唤起应用，比如通过对话启动地图导航。
当然除了语音，生成图片等视觉类内容，同样是生成式 AI 的重要能力，这样的能力在先锋应用中同样有所体现。
比如我们再熟悉不过的抖音，在搭载天玑芯片的设备上，就可以通过抖音运行先进的文生图模型 SDXL-Lightning，仅需两秒就能绘制一张 1024*1024 的 AI 图片。
同时，天玑芯片中的 APU 单元还为抖音提供了 AI 实时特效功能，在直播中利用端侧算力就能流畅地实现人脸特效的添加。
尽管在热度上略低于文本和视觉信息，但声音也是不可否认的重要模态，作为一个完备的应用体系，相关产品同样不能落下。
总想当歌唱家一展歌喉，现实却是别人唱歌要钱你要命，没关系，全民K歌就把 SVC 模型放到了端侧，只需录制 30 秒的样本，模型就会用你的声音一键演唱任何歌曲，让你分分钟变身歌王。
此外还有小红书的头像生成工具 InstantID、虎牙的实时直播换脸、RMKV 的音乐创作……一系列效果震撼的 AI 应用，都被从云端搬到了端侧，搬进了联发科天玑的 AI 应用生态。
以上这些案例，用户在与之交互的过程中，能直接感受到 AI 的存在，但其实在一些“看不见的地方”，同样也有 AI 在为用户默默付出。
当然，手机也并非是端侧设备的全部，还有智能穿戴、智能家居、智能座舱等多种终端。
联发科此次推出的天玑 AI 开发套件，就实现了全场景的终端覆盖，将生成式 AI 带到了各式各样的端侧设备当中。
比如在汽车上，只需要一张草图，再加上简单的提示词指令，就能利用车载终端的 AI 能力实现绘画创作，让 AI 的运行载体不再局限于电脑和手机。
在芯片厂商、设备厂商和应用开发者组成的端侧 AI 生态当中，联发科作为芯片厂商，架起了设备和应用之间的一座桥梁，扮演着端侧 AI 应用落地的最大推动者。
联发科，端侧 AI 领先布局人
推动整个端侧 AI 生态的发展，是一项宏大的议题，那么为什么联发科能够担此重任？
联发科技无线通信事业部副总经理李彦辑讲述了背后的故事。
李彦辑介绍，在近十年前，也就是 2015、2016 年前后， 联发科就已经开始了 AI 芯片的研发。
当时 AI 在互联网上成为了一个热门话题，铺天的热度让联发科开始思考，能不能让端侧设备搭上 AI 的洪流。
该芯片的真正诞生则是在 2018 年，不过主要用途和拍照相关，而不是提供生成式 AI 的能力。
不过从开始思考到首款 AI 芯片落地这段时间当中，AI 领域内有一篇重量级论文出现了——
这篇论文就是谷歌发布的 Attention is all you need，也就是它宣告了 Transformer 的诞生。
后来的事情想必大家已经很清楚了，Transformer 取代了 RNN，成为了 NLP 新的主流技术路线，直到 OpenAI 发布 ChatGPT，宣告了进入生成式 AI 的时代。
回到联发科这一边，在 Transformer 出现后，团队立刻注意到，生成式模型可能带来重大变革，应该着手开始探索新的算子了。
尽管当时还没有看到明确的应用，但联发科还是基于对生成式 AI 未来的笃信，开始了早期布局。
我们不禁要问，敢在生成式 AI 刚刚起步的时候就投入研究，联发科的底气是什么？
一方面，是对未来技术的判断和决心，坚信 Transformer 会成为 AI 的分水岭；
另一方面，则是多年的技术积淀，给联发科探索生成式 AI 算子带来的便利条件。
联发科技无线通信事业部技术规划总监李俊男这样介绍：
- Transformer 一定不是突然出现的，背后一定有技术积累，联发科也是如此。
- 在之前以影像为主要应用的 AI 研发中，涉及到了 ViT 网络，其中就有很多算子，都是可以积累到生成式 AI 当中的。
对于技术积累，李俊男表示，持续投资技术，是科技公司必须做的事情。
当然，布局生成式 AI 的过程，一定不是一帆风顺的，比如解释为什么要在端侧部署 AI，就成了一个棘手的问题。
不过，凭借着深厚的技术积淀和对行业的敏锐观察，最终联发科给出了充分的总结，也获得了认可。
关于天玑 AI 的下一步计划，李彦辑介绍，是实现端侧化运行的多模态模型，以及端侧的专家系统。
不难看到，联发科正凭借其领先的技术实力和生态布局优势，将引领端侧芯片继续向 AI 方向深入发展，并不断推动端侧 AI 生态建设的优化与升级。
java相关学习资源、电视剧等资源下载，请点击
来自: 网易科技
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
