Microsoft 推出了迄今为止最小的 AI 模型 Phi-3-mini：它与大型模型的比较

最新推荐文章于 2025-03-08 14:13:49 发布

李逍遥猿

最新推荐文章于 2025-03-08 14:13:49 发布

阅读量4.2k

点赞数 47

文章标签： microsoft 人工智能

本文链接：https://blog.csdn.net/2401_84587944/article/details/138336511

版权

在这里插入图片描述

在 Meta 推出 Llama 3 大型语言模型（LLM）几天后，Microsoft 周二（4 月 23 日）推出了其“轻量级”AI 模型的最新版本——Phi-3-Mini。Microsoft 将 Phi-3 描述为一系列开放的 AI 模型，这些模型是目前功能最强大、最具成本效益的小型语言模型（SLM）。

究竟什么是语言模型，SLM 与 LLM 有何不同？使用 SLM 开发 AI 应用程序有什么好处吗？我们解释一下。

什么是 Phi-3-mini？
Phi-3-Mini被认为是Microsoft计划发布的三款小型机型中的首款。据报道，在语言、推理、编码和数学等领域，它在各种基准测试中的表现优于相同大小和下一个尺寸的模型。

从本质上讲，语言模型是 ChatGPT、Claude、Gemini 等 AI 应用程序的支柱。这些模型在现有数据上进行训练，以解决常见的语言问题，例如文本分类、回答问题、文本生成、文档摘要等。

LLM 中的“大”有两个含义——训练数据的巨大规模;和参数计数。在机器学习领域，机器可以在没有指示的情况下自己学习事物，参数是机器在模型训练过程中学到的记忆和知识。它们定义了模型解决特定问题的技能。

Microsoft的 Phi-3-mini 有什么新功能？
Microsoft 的最新模型扩展了客户可用的高质量语言模型的选择，在他们构建生成式 AI 应用程序时提供了更实用的选择。Phi-3-mini 是一种 3.8B 语言模型，可在 Microsoft Azure AI Studio、HuggingFace 和 Ollama 等 AI 开发平台上使用。

人工智能在任何给定时间可以读取和写入的对话量称为上下文窗口，并以称为令牌的东西来衡量。根据 Microsoft，Phi-3-mini 有两种变体，一种具有 4K 上下文长度，另一种具有 128K 令牌。

借助更长的上下文窗口，模型更能够接收和推理大型文本内容，例如文档、网页、代码等。

解释 |AI 聊天机器人中的上下文窗口以及它们如何帮助提示调用
Phi-3-mini 是同类产品中第一个支持高达 128K 代币的上下文窗口的型号，对质量影响很小。该模型是指令调整的，这意味着它被训练为遵循用户给出的不同类型的指令。这也意味着该模型是“开箱即用的”。

Microsoft表示，在未来几周内，Phi-3系列将增加新型号，为客户提供更大的灵活性。Phi-3-small （7B）和 Phi-3-Medium 将很快在 Azure AI 模型目录和其他模型库中提供。

Phi-3-mini 与 LLM 有何不同？
Phi-3-mini 是一种 SLM。简单地说，SLM 是大型语言模型的更精简版本。与 LLM 相比，较小的 AI 模型在开发和操作方面也具有成本效益，并且在笔记本电脑和智能手机等小型设备上表现更好。

根据 Microsoft 的说法，SLM 非常适合“资源受限的环境，包括设备上和离线推理场景”。该公司声称，这种模型适用于快速响应时间至关重要的场景，例如对于chabots或虚拟助手。此外，它们非常适合成本受限的用例，尤其是对于较简单的任务。

阅读 |Meta 迄今为止最复杂、功能最强大的大型语言模型 Llama 3 是什么？
虽然 LLM 是在大量通用数据上接受训练的，但 SLM 以其专业化而脱颖而出。通过微调，SLM可以针对特定任务进行定制，并在执行这些任务时实现准确性和效率。大多数 SLM 都经过有针对性的培训，与 LLM 相比，需要的计算能力和能量要少得多。

SLM 在推理速度和延迟方面也有所不同。其紧凑的尺寸允许更快的加工。它们的成本使它们对较小的组织和研究小组具有吸引力。

Phi-3 型号有多好？
Phi-2 于 2023 年 12 月推出，据报道与 Meta 的 Llama 2 等型号相当。Microsoft声称 Phi-3-mini 比其前辈更好，并且可以像比它大 10 倍的模型一样做出反应。

根据Microsoft分享的性能结果，Phi-3 型号在关键领域明显优于相同尺寸甚至更大的几款型号，包括 Gemma 7B 和 Mistral 7B。

Microsoft声称 Phi-3-mini 表现出强大的推理和逻辑能力。Microsoft在其博客中还表示，“ITC是一家总部位于印度的领先商业集团，正在利用Phi-3作为他们与Microsoft继续合作的一部分，为Krishi Mitra提供副驾驶，这是一款面向农民的应用程序，覆盖了超过一百万农民。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述