前言
家人们!微软又用爱发电了!一觉醒来,微软发布了最新的小模型三兄弟:
- Phi-3.5-MoE-instruct
- Phi-3.5-mini-instruct
- Phi-3.5-vision-instruct
三兄弟的表现可以说是相当的不错,其中,Phi-3.5-MoE 在基准测试中击败了 Llama 3.1 8B、Mistral-Nemo-12B,Gemini 1.5 Flash。在推理能力方面它也优于其他一些较大的模型,仅落后于 GPT-4o-mini,直接分分钟登顶同级模型!
不同用途不同选择!
三个Phi 3.5模型有不同的专长!
Phi-3.5 MoE - 微软专家大集合
大哥Phi-3.5 MoE 是一个混合专家模型,将多个不同的模型类型组合成一个,其中每个模型类型专门从事不同的任务。该模型有420亿个活动参数的架构,支持128k token上下文长度。
划重点:
- 6.6B 活动参数(总参数42B)
- 128K 上下文、多语言和相同分词器
- 在 4.9T tokens 上进行训练
- 使用 512 张 H100 进行训练(23 天)
为了在各种推理任务中脱颖而出,Phi-3.5 MoE在代码、数学和多语言理解方面提供了强大的性能,基准测试中通表现都很好,在5个单项的MMLU(大规模多任务语言理解)测试中,它也击败了gpt-4o mini!
在长文本上超越了明显优于仅支持8K上下文长度的Gemma-2系列,与其他更大更强的开源模型如Llama-3.1-8B-instruct和Mistral-Nemo-12B-instruct-2407也可以一比,而且已经比GPT-4o好了!
总的来说,只有6.6B活动参数的Phi-3.5-MoE实现了与更大模型相似的语言理解和数学水平。但是,对于某些任务,它仍然受到其大小的根本上限制,因为,该模型根本不具备存储太多事实知识的能力,作者指出,这个弱点可以通过使用搜索引擎来解决,特别是在RAG设置下使用该模型时。
模型开源地址:
https://huggingface.co/microsoft/Phi-3.5-MoE-instruct
Phi 3.5 mini - 针对计算受限的环境进行了优化
二哥Phi-3.5 Mini Instruct主打一个轻量级!一共有38亿参数,专为遵守指令而设计,并支持128k token上下文长度。非常适合在受限的环境中使用!Phi3.5 Mini Instruct模型虽然小巧,但在多语言和多轮对话任务中表现出色,相较其前代有了显著提升。它在多个基准测试中的性能接近最先进水平,尤其在RepoQA测试中超越了其他同类模型(如Llama-3.1-8b-instruct和Mistral-7b-instruct)。
划重点:
- 3.8B参数,击败Llama3.1 8B和Mistral 7B
- 多语言和 32K 词汇的分词器
- 在 3.4T tokens 上进行训练
- 使用 512 张 H100 进行训练(只需要10 天!)
▲在多语言MMLU、MEGA和多语言MMLU-pro数据集上的多语言能力。总的来说,即使只有38 b的活动参数,与其他具有更大活动参数的模型相比,该模型在多语言任务上是比较出色!
▲RepoQA基准测试遥遥领先
模型开源地址:
https://huggingface.co/microsoft/Phi-3.5-mini-instruct
Phi-3.5 Vision Instruct - 高级多模态推理
三弟Phi-3.5 Vision Instruct是一款融合文本与图像处理能力的视觉指令模型。与同系列其他型号类似,它支持128k token的上下文长度,能够处理复杂的多帧视觉任务。
微软指出,该模型采用经过筛选的公开数据集进行训练,增强了模型的多帧图像理解和推理能力。主要功能包括详细的图像对比、多图总结与叙事,以及视频摘要,侧重于高质量和推理密集型数据。
划重点:
- 4.2B 参数,在部分基准测试上击败了GPT-4o(不是mini!!!)
- 使用 500B tokens 进行训练
- 使用 256 张 A100 进行训练(6 天)
- 专注于TextVQA + ScienceVQA
▲采用了BLINK基准测试,包含14个视觉任务,总体而言,模型在相同尺寸下普遍优于竞争对手,并在多帧能力和视频摘要方面与更大的模型竞争。
模型开源地址:
https://huggingface.co/microsoft/Phi-3.5-vision-Instruct
根据开源博客的声明,Phi-3.5系列模型在MIT许可下发布,即允许开发者自由使用、修改、发布、分发甚至销售软件副本。不过,该许可也附带免责声明,即要求软件得是“按原样”提供的,不附带任何形式的担保。微软和其他版权所有者不对因使用该软件而可能引发的任何索赔、损害或其他责任承担责任~
怎么训练?
给大家搬运下官方的训练步骤!我们以大哥Phi-3.5-MoE-instruct 的训练为例,Phi-3.5系列模型都集成到 transformers 的官方版本中,官方版本后续也通过 pip 发布:
- 加载模型时,确保在 from_pretrained() 函数中传递 trust_remote_code=True 作为参数。可以通过以下命令验证当前的 transformers 版本:
- 安装所需软件包示例:
- 分词器
Phi-3.5-MoE-Instruct 支持最多 32064 个 token 的词汇量,分词器文件已经提供了可以用于下游微调的占位符 token,可以扩展到模型的最大词汇量。
- 输入格式
鉴于训练数据的特性,Phi-3.5-MoE-instruct 模型最适合使用以下聊天格式的提示:
- 本地加载模型 在获得 Phi-3.5-MoE-instruct 模型检查点后,用户可以使用以下示例代码进行推理。
结语
大家觉得Phi-3.5系列的三兄弟表现如何?虽然不同的基准测试可能让大家对他们的能力有不同的评价,褒贬不一,但不得不说,微软这次确实又开放了一个不错的模型,又OpenAI
了不是!
据看到的新闻,OpenAI 推出了 GPT-4o 微调功能,每天免费送100万Token,允许开发者为特定用例定制模型~
结合今天微软的又一开源,开源和闭源的发展越来越像两条快速延伸平行线,一方面是模型的开放,另一方面是在引导应用方向上的开放。