微软Phi-3：小型而强大的AI模型，推动物联网与移动设备进入高效时代

---

一、前言

随着人工智能技术的飞速发展，微软研究院推出了Phi-3系列模型，这一创新的小型语言模型（SLM）以其卓越的性能和高效的成本效益，在AI领域引起了广泛关注。Phi-3模型不仅在多项基准测试中展现出与大型模型相媲美的能力，更因其小巧的体积和高效的运行效率， 为移动设备和边缘计算 提供了理想的解决方案。

二、Phi-3是什么

1. 新一代小型语言模型：Phi-3是微软研究院推出的一系列先进小型语言模型，旨在提供与大型模型相媲美的语言理解和推理能力，同时保持较小的参数规模。
2. 不同规模的版本：Phi-3系列包括phi-3-mini、phi-3-small和phi-3-medium三个不同规模的版本，以适应不同的应用场景和需求。
3. 开源可商用：Phi-3模型系列是开源的，可供商业使用，这为研究人员和开发人员提供了丰富的学习和研究资源。

Phi-3系列当前由三个模型组成：
Phi-3-mini：38亿个参数
Phi-3-small：70亿个参数
Phi-3-medium：140亿个参数

为了评估Phi-3的性能，让我们比较其在两个广泛使用的基准测试中的得分：MMLU（长篇理解多任务度量）和MT-bench（机器翻译基准测试）。

模型	MMLU	MT-bench
Phi-3-mini（3.8B）	69%	8.38
Phi-3-small（7B）	75%	8.7
Phi-3-medium（14B）	78%	8.9
Llama-3（8B）	66%	8.6
Mixtral 8x7B	68%	8.4
GPT-3.5	71%	8.4

正如表格所示，与Llama-3、Mixtral 8x7B甚至GPT-3.5等更大模型相比，Phi-3模型表现出色。Phi-3-mini仅有38亿个参数，达到了与其多倍大小的模型相媲美的得分。这一令人印象深刻的性能要归功于微软先进的训练技术和高质量的数据集策划。

三、Phi-3的特点

1. 小型化设计：Phi-3模型以其轻巧的体积著称，特别是Phi-3-Mini版本，仅含有3.8亿参数，这使得模型能够在资源受限的设备上流畅运行。

2. 卓越性能：尽管Phi-3模型体积小巧，它在多个学术基准测试中展现出了与市场上大型模型相媲美或甚至更佳的性能。

3. 迅速响应：Phi-3-Mini在iPhone上每秒能生成16个token，这表明了它在移动设备上能够实现快速响应。

4. 离线可用性：Phi-3模型具备离线运行的能力，无需互联网连接，这不仅有助于保护用户隐私，也减少了对网络带宽的依赖。

5. 多语言潜力：Phi-3的Small和Medium版本在训练中融入了多语言数据。虽然Phi-3-Mini目前主要处理英文，但未来有望扩展对更多语言的支持。

6. 资源节省：Phi-3模型的内存占用相对较低，使其能够在配置较低的设备上运行，而不会对设备性能造成显著影响。

7. 高易集成性： 得益于其小型化和高效性，Phi-3模型能够轻松集成到各种应用中，如移动应用、嵌入式系统和物联网设备。

8. 定制化应用：Phi-3这样的小型模型更适合定制化应用，特别是对于那些需要特定领域优化或数据集较小的企业。

9. 成本效益：与大型模型相比，Phi-3这样的小型模型在计算资源和能源消耗方面更为经济，有助于降低整体运营成本。

10. 简易部署：Phi-3的小型体积使得它容易在本地设备上部署，有助于实现快速的数据处理和响应，同时减少了对云服务的依赖。

Phi-3模型凭借这些优势，在资源受限或需要快速、本地化处理的自然语言处理应用中，成为了一个理想的选择。

四、Phi-3的技术框架

1. Transformer解码器架构：Phi-3-Mini采用了专为移动设备优化的架构，这一设计支持通过LongRope系统显著扩展模型的上下文长度，从而提升处理长序列数据的能力。

2. 结构设计的兼容性：Phi-3-Mini在结构设计上与Llama-2模型保持了高度相似性，并使用了相同的分词器，这确保了模型与Llama-2系列软件包的兼容性，便于开发者在现有项目中进行集成和应用。

3. 分组查询和块状稀疏注意力机制：Phi-3的Small和Medium版本引入了分组查询和块状稀疏注意力机制，这些创新技术优化了模型处理长期上下文时的检索性能，并有效降低了内存占用。

4. 分阶段的数据训练：Phi-3模型的训练过程采用了分阶段的方法，使用网页数据和合成数据进行训练。第一阶段重点在于提升模型的通用知识和语言理解能力；第二阶段则专注于培养模型的逻辑推理和特定技能。

5. 启发式训练方法：Phi-3的训练方法受到了儿童学习方式的启发，采用了“课程”式训练策略。通过使用简化的“儿童读物”类数据，逐步引导模型学习并掌握复杂的概念和知识。

通过这些先进的技术框架，Phi-3模型不仅在性能上达到了高标准，同时也在资源利用和训练效率上实现了优化，满足了现代AI应用对于效率和灵活性的需求。

五、Phi-3性能测试

Phi-3 模型在关键基准测试中具有显著的优势（请参阅下面的基准数据，越高越好）。
注意：Phi-3 模型在事实知识基准（例如 TriviaQA）上的表现不佳，因为较小的模型大小会导致保留事实的能力较低。

六、Phi-3部署运行

Phi-3最引人注目的特性之一是其跨平台的本地运行能力，它能够在多种设备上独立运行，包括智能手机和笔记本电脑。这一优势主要归功于模型的精巧设计和高效率架构。本地部署Phi-3不仅能够显著降低响应延迟，还有助于提升隐私保护，并允许用户在无网络连接的情况下使用模型。

要在本地设备上运行Phi-3，推荐使用Ollama框架，它提供了一个简洁直观的用户界面，使得与模型的交互变得简单易行。以下是详细的入门指南：

运行以下命令安装Ollama

curl -fsSL https://ollama.com/install.sh | sh

如果已经安装，则直接使用ollama serve启动ollama

ollama serve

运行如下：

部署运行phi-3

ollama run phi3:mini

运行如下：

现在，您可以通过输入提示并接收生成的响应与Phi-3模型进行交互。

>>> 你是干啥的？

输出

作为一个人工智能助手，我的目的是为用户提�
LIMON执行各种任务，这包括信息查询、数据分析、语音生成和翻译服务等。不同的系统和应用程序能够定制我们的功能，以适应特定的用户需求和
工作场景。

在给出信息查询时，我们利用大量的知识库进行搜索，确保提供准确、相关的信息。例如，如果你想了解哪些是适合小模型的技术实现方法，我会根据已知数据库提供一个答案或指引。

在数据分析方面，我可以利用机器学习和深度学习技术来处理并解释大量数据集的模式趋势。通过创建或调整算法，我们能够提高精确性和效率，为客户提供数据支持服务。

在语音生成上，我可以帮助用户通过发送指令或问题来获取自动或人类输出的信息。这包括虚拟交流、文本生成和数据编码等多种服务。

翻译是我能够进行的语言处理任务，通过对所有语言进行学习，我可以在不同语言之间桥接信息，使得国际交流更加流畅和无界限。

总的来说，我作为一个AI助手，在不断地学习和进化中寻求提高自身的服务范围和准确性，以适应用户的需求并辅助他们处理日常工作和生活任务。

>>> 今天是什么日子？

输出

今天的日期通过计算机系统得到了准确显示，例如说我们可以使用"system
date"命令或相应语言库来获取当前的日期和时间。例如，在Linux或Mac系统中，一个简单的命令是：

bash date

而在Windows操作系统中，可以通过打开命令提示符(CMD)并输入：

cmd date /t

这将展示当前的日期和时间。如果我是一个基于服务器上运行的AI模型，那么我可能不直接显示当前日期和时间，而是根据服务器的系统日志信息来确定或者通过网络访问服务器控制台获取。

请注意，作为一个人工智能模型，我不直接操控任何硬件设备，因此无法实时检查服务器的日期或任何其他系统信息。通常情况下，用户可以通过上述方式来获取当前日期和时间。

七、结语

微软推出的Phi-3语言模型系列，标志着在开发紧凑且高效的AI模型领域迈出了重要的一步。Phi-3在基准测试中的卓越表现，以及其在多种设备上实现本地运行的能力，为AI应用在移动计算、边缘设备和注重隐私的场景中开辟了新的视野和可能性。

随着人工智能技术的持续进步，Phi-3等模型向我们展示了规模并非总是决定性因素。研究人员通过采用先进的训练技术、精选的高质量数据集和优化的高效架构，已经能够开发出性能卓越且功能强大的语言模型。这些模型不仅能够与更大型的模型竞争，还提供了本地执行的额外优势。

Phi-3的问世，为紧凑型语言模型设定了新的行业标准。随着技术的不断成熟和应用场景的拓展，我们有理由期待Phi-3在未来的实际应用中将展现出更加令人兴奋的潜力和成果。这不仅将推动AI技术的创新，也将为各行各业带来深远的影响。

🎯🔖更多专栏系列文章：AIGC-AI大模型开源精选实践

😎 作者介绍：我是寻道AI小兵，资深程序老猿，从业10年+、互联网系统架构师，目前专注于AIGC的探索。
📖 技术交流：建立有技术交流群，可以扫码👇 加入社群，500本各类编程书籍、AI教程、AI工具等你领取！
如果文章内容对您有所触动，别忘了点赞、⭐关注，收藏！加入我，让我们携手同行AI的探索之旅，一起开启智能时代的大门！