SLMs之Phi-3：Phi-3的简介、安装和使用方法、案例应用之详细攻略

一个处女座的程序猿

已于 2024-05-08 13:32:32 修改

阅读量3.8k

点赞数 23

分类专栏： NLP/LLMs 文章标签：大语言模型 LLMs 小语言模型

于 2024-04-24 23:45:48 首次发布

本文链接：https://blog.csdn.net/qq_41185868/article/details/138172939

版权

NLP/LLMs 专栏收录该内容

557 篇文章 423 订阅

订阅专栏

SLMs之Phi-3：Phi-3的简介、安装和使用方法、案例应用之详细攻略

导读：2024年4月23日，微软发布Phi-3，这是微软推出的一款新的开源AI模型家族Phi-3。
背景痛点：小语言模型(SLM)尽管规模不大，但在语言理解、代码编写和数学计算等方面表现出色。
产品介绍：
>> Phi-3家族成员包括Phi-3-mini(待推出的Phi-3-small和Phi-3-medium)。
>> Phi-3-mini是首个支持上万字符上下文窗口的小型模型，性能影响小。
>> Phi-3模型在相同规模或者比它大一倍模型的多个语言评测指标上都表现出色。
核心特点：
>> 安全首要，按照微软责任AI标准开发。
>> 高效、低延迟，尤其适用于边缘计算。
>> 低成本，面向资源有限且任务简单的场景。
应用场景：
>> 边缘和嵌入式设备
>> 延迟敏感场景
>> 成本面临限制的场景
优势：
>> 在同规模模型基础上显著提升性能
>> 安全培训与评估丰富
>> 提供不同规模选择，满足多样需求
综上，微软Phi-3 family旨在提供更多选择以满足客户需求，新推出的Phi-3-mini是一个稳定性能的小型语言模型，特别适用于边缘和低延迟场景。

Phi-3的简介

1、Phi-3的特点

2、Phi-3的核心技术点

3、模型效果：其中Phi-3-small稍微较强于LLaMA-3-8B，而Phi-3-medium几乎全胜于LLaMA-3-8B

Phi-3的安装和使用方法

1、下载模型

2、模型微调与部署

T1、在Azure AI Studio中利用部署-评估-微调工具链进行部署和评估

T2、在Ollama上进行本地运行，并根据需要进行定制和微调

LLMs之RAG：基于Ollama框架(开启服务器模式+加载LLMs)部署LLaMA3/Phi-3等大语言模型、并结合AnythingLLM框架(配置参数LLM Preference【LLM Provider-Chat Model】 /Embedding Preference/Vector Database)实现RAG功能(包括本地文档和抓取网页)实现Chat聊天以及本地知识库问答实战

Phi-3的简介

2024年4月23日，Phi-3是由微软开发的一系列开放AI模型，旨在重新定义小型语言模型（SLMs）的可能性。Phi-3模型以其卓越的性能和高效的成本而著称，超越了同等大小和稍大一号的模型，在各种语言、推理、编码和数学基准测试中表现优异。Phi-3系列包括Phi-3-mini等多个模型，其中Phi-3-mini拥有38亿参数，可在Microsoft Azure AI Studio、Hugging Face和Ollama等平台上使用。

官网地址：https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/