Octopus V2：设备端super agent的高级语言模型

lichunericli

已于 2024-04-07 17:38:26 修改

阅读量2.2k

点赞数 15

文章标签：人工智能自然语言处理语言模型

于 2024-04-07 17:37:22 首次发布

本文链接：https://blog.csdn.net/lichunericli/article/details/137471005

版权

Octopus V2-2B是一款20亿参数的开源语言模型，专为Android API设计，具备出色的推理速度和准确度。相较于RAG方法，它采用独特的函数标记策略，提供更优的边缘计算性能，尤其在GPU上的速度提升显著。在准确性和延迟方面，Octopus V2-2B超越GPT-4，同时在函数调用准确率上超过Llama7B + RAG方案31%。模型经过多阶段数据集创建和两种训练方法的优化，适用于设备端的智能应用。

摘要由CSDN通过智能技术生成

论文：Octopus v2: On-device language model for super agent
论文地址：https://arxiv.org/abs/2404.01744
模型主页：https://huggingface.co/NexaAIDev/Octopus-v2

Octopus-V2-2B

Octopus-V2-2B 是一款具有20亿参数的开源先进语言模型，它体现了Nexa AI在将大型语言模型（LLM）应用于函数调用方面的研究成果，并且是针对Android API特别设计的。与传统的检索增强生成（RAG）方法不同，后者在处理潜在的函数参数时需要进行详尽的描述（有时涉及数万个输入标记），Octopus-V2-2B在训练和推理过程中采用了独特的函数标记策略。这种策略不仅让它能够与GPT-4的性能相媲美，还大幅提升了推理速度，优于基于RAG的方法。这一改进特别适合边缘计算设备，使得Octopus-V2-2B在这些平台上更具优势

📱设备端应用程序：Octopus-V2-2B 旨在与 Android 设备完美兼容，其应用范围广泛，涵盖了从 Android 系统管理到多设备协调等多个方面。

🚀推理速度：在基准测试中，Octopus-V2-2B 表现出了卓越的推理速度，在单个 A100 GPU 上的性能比“Llama7B + RAG 解决方案”组合高出 36 倍。此外，与依赖集群 A100/H100 GPU 的 GPT-4-turbo (gpt-4-0125-preview) 相比，Octopus-V2-2B 速度提高了 168%。这种效率归功于我们的functional token设计。