Octopus：2B 参数语言模型即可媲美 GPT-4 的函数调用性能

最新推荐文章于 2025-05-05 14:07:50 发布

灿烂李

最新推荐文章于 2025-05-05 14:07:50 发布

阅读量675

点赞数 4

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/ermu114/article/details/137540316

版权

本文介绍了斯坦福大学开发的Octopus-V2模型，通过将AI代理的函数选择问题转化为分类问题，显著提高了移动设备上的功能调用速度和准确性。该模型在隐私保护和性能上超越了现有云端解决方案，为Android系统管理和设备协同工作提供了新途径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

近年来，大语言模型在 PC、智能手机和可穿戴设备的操作系统中应用逐渐成为趋势。 例如，MultiOn (Garg, 2024) 和 Adept AI (Luan, 2024) 等 AI 助理工具，以及 Rabbit R1 (Lyu, 2024) 和 Humane AI Pin (Chaudhri, 2024) 等 AI 消费产品在消费者市场正获得关注。这些产品利用语言模型将人类自然语言转换为可操作的命令，为用户提供便捷的操作体验。然而，现有的基于云端大模型的解决方案存在隐私泄露风险、推理成本高、网络连接要求高等问题。虽然一些研究者提出基于开源模型的函数调用方法。然而，这些方法在推理任务和能耗方面表现不佳，无法满足实际应用的需求。

为此斯坦福大学采用了一种独特的功能性标记策略，基于谷歌Gemini 2B模型开发了Octopus-V2模型，专为Android API的功能调用定制，超越了基于RAG的方法，特别适用于边缘计算设备。比Llama7B + RAG方案快36倍，性能优于 GPT-4，延迟时间小于 1 秒。它能够在移动设备上直接运行，支持广泛的应用场景，从而推动Android系统管理和设备间协同工作的新方式。其快速和高效的推理能力，特别适合需要高性能和精确功能调用的场景，如智能家居控制、移动应用开发等。