大模型应用新战场：揭秘终端侧AI竞争关键｜智在终端

鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI

2024年过去2/3，大模型领域的一个共识开始愈加清晰：

AI技术的真正价值在于其普惠性。没有应用，基础模型将无法发挥其价值。

于是乎，回顾这大半年，从互联网大厂到手机厂商，各路人马都在探索AI时代Killer APP的道路上狂奔。这股风潮，也开始在顶级学术会议中显露踪迹。

其中被行业、学术界都投以关注的一个核心问题就是：

在大模型“力大砖飞”的背景之下，AIGC应用要如何在手机等算力有限的终端设备上更丝滑地落地呢？

△Midjourney生成

这段时间以来，ICML（国际机器学习大会）、CVPR（IEEE国际计算机视觉与模式识别会议）等顶会上的最新技术分享和入选论文，正在揭开更多细节。

是时候总结一下了。

AI应用背后，大家都在聚焦哪些研究？

先来看看，AI应用从云端迈向终端，现在进展到何种程度了。

目前，在大模型/AIGC应用方面，众多安卓手机厂商都与高通保持着深度合作。

在CVPR 2024等顶会上，高通的技术Demo，吸引了不少眼球。

比如，在安卓手机上，实现多模态大模型（LLaVA）的本地部署：

△Qualcomm Research发布于YouTube

这是一个70亿参数级别的多模态大模型，支持多种类型的数据输入，包括文本和图像。也支持围绕图像的多轮对话。

就像这样，丢给它一张小狗的照片，它不仅能描述照片信息，还能接着和你聊狗狗适不适合家养之类的话题。