android手机跑大模型

安卓手机上跑15亿参数大模型，12秒不到就推理完了

生成式 AI 上端侧，要用真正的技术。 早晚会有这一天，但它还是比想象来得早了一些：大模型在手机上运行的预言被实现了。

上个月的计算机视觉学术顶会 CVPR 上，生成式 AI 成了重要方向，高通会议中展示了一把未来有望成为「主流」的 AI 应用：用手机跑大模型 AI 画图。

CVPR 是 AI 领域最负盛名的重要会议，我们曾在其中见证过人工智能的几次重要突破，今年在获奖和入围的论文中，既有通用大模型，也有 AI 画图的研究，可谓一下进入了生成式 AI 的新时代。

在 CVPR 2023 上，高通共有八篇论文被主会议收录，并行的展示覆盖生成式 AI、计算机视觉、XR 和自动驾驶汽车等领域的理论创新，以及应用方向。

在这场最先进技术的碰撞中，有不少令人期待的未来图景。

15 亿大模型，手机 12 秒跑完

几个月前，高通就曾在巴塞罗那 MWC 通信展上玩了一把手机跑 Stable Diffusion。此次对于终端侧生成式 AI，高通首先展示了完全在安卓手机上运行 ControlNet 图像生成图像模型，并实现了速度「全球最快」。

用时是多少呢？不到 12 秒。要知道，ControlNet 拥有 15 亿参数，而二月份高通演示在手机上运行 10 亿参数的 Stable Diffusion，当时还花了 15 秒左右。

这让人不得不感叹，终端侧的生成式 AI 能力又进化了。

作为一种生成式 AI 绘画解决方案，ControlNet 被认为是扩散模型中的大杀器，它通过额外输入控制预训练大模型如 Stable Diffusion，可以精细地设定生成图像的各种细节。先输入一张参考图，然后根据输入的 prompt 进行预处理，就能对生成的图像进行精准控制。

此次在高通 AI Research 的展示中，普通安卓手机仅用 11.26 秒便可以运行 ControlNet 生成一张图片，并且无需访问任何云端，完全本地化，交互式体验良好且运行非常高效。下面是一个动图演示：