谢谢微软,又又又Open了!一口气发布3款Phi-3.5新模型,领先Llama3.1和谷歌同级模型

图片

家人们!微软又用爱发电了!一觉醒来,微软发布了最新的小模型三兄弟:

图片

  • Phi-3.5-MoE-instruct

  • Phi-3.5-mini-instruct

  • Phi-3.5-vision-instruct

三兄弟的表现可以说是相当的不错,其中,Phi-3.5-MoE 在基准测试中击败了 Llama 3.1 8B、Mistral-Nemo-12B,Gemini 1.5 Flash。在推理能力方面它也优于其他一些较大的模型,仅落后于 GPT-4o-mini,直接分分钟登顶同级模型!

图片

真不错呀!让奶茶带大家看一下!

不同用途不同选择!

三个Phi 3.5模型有不同的专长!

Phi-3.5 MoE - 微软专家大集合

大哥Phi-3.5 MoE 是一个混合专家模型,将多个不同的模型类型组合成一个,其中每个模型类型专门从事不同的任务。该模型有420亿个活动参数的架构,支持128k token上下文长度。

图片

划重点:

  • 6.6B 活动参数(总参数42B)

  • 128K 上下文、多语言和相同分词器

  • 在 4.9T tokens 上进行训练

  • 使用 512 张 H100 进行训练(23 天)

为了在各种推理任务中脱颖而出,Phi-3.5 MoE在代码、数学和多语言理解方面提供了强大的性能,基准测试中通表现都很好,在5个单项的MMLU(大规模多任务语言理解)测试中,它也击败了gpt-4o mini!

图片

在长文本上超越了明显优于仅支持8K上下文长度的Gemma-2系列,与其他更大更强的开源模型如Llama-3.1-8B-instruct和Mistral-Nemo-12B-instruct-2407也可以一比,而且已经比GPT-4o好了!

图片

总的来说,只有6.6B活动参数的Phi-3.5-MoE实现了与更大模型相似的语言理解和数学水平。但是,对于某些任务,它仍然受到其大小的根本上限制,因为,该模型根本不具备存储太多事实知识的能力,作者指出,这个弱点可以通过使用搜索引擎来解决,特别是在RAG设置下使用该模型时。

模型开源地址:
https://huggingface.co/microsoft/Phi-3.5-MoE-instruct

Phi 3.5 mini - 针对计算受限的环境进行了优化

二哥Phi-3.5 Mini Instruct主打一个轻量级!一共有38亿参数,专为遵守指令而设计,并支持128k token上下文长度。非常适合在受限的环境中使用!Phi3.5 Mini Instruct模型虽然小巧,但在多语言和多轮对话任务中表现出色,相较其前代有了显著提升。它在多个基准测试中的性能接近最先进水平,尤其在RepoQA测试中超越了其他同类模型(如Llama-3.1-8b-instruct和Mistral-7b-instruct)。

划重点:

  • 3.8B参数,击败Llama3.1 8B和Mistral 7B

  • 多语言和 32K 词汇的分词器

  • 在 3.4T tokens 上进行训练

  • 使用 512 张 H100 进行训练(只需要10 天!)

图片

▲在多语言MMLU、MEGA和多语言MMLU-pro数据集上的多语言能力。总的来说,即使只有38 b的活动参数,与其他具有更大活动参数的模型相比,该模型在多语言任务上是比较出色!

图片

▲RepoQA基准测试遥遥领先

模型开源地址:
https://huggingface.co/microsoft/Phi-3.5-mini-instruct

Phi-3.5 Vision Instruct - 高级多模态推理

三弟Phi-3.5 Vision Instruct是一款融合文本与图像处理能力的视觉指令模型。与同系列其他型号类似,它支持128k token的上下文长度,能够处理复杂的多帧视觉任务。

微软指出,该模型采用经过筛选的公开数据集进行训练,增强了模型的多帧图像理解和推理能力。主要功能包括详细的图像对比、多图总结与叙事,以及视频摘要,侧重于高质量和推理密集型数据。

划重点:

  • 4.2B 参数,在部分基准测试上击败了GPT-4o(不是mini!!!)

  • 使用 500B tokens 进行训练

  • 使用 256 张 A100 进行训练(6 天)

  • 专注于TextVQA + ScienceVQA

图片

▲采用了BLINK基准测试,包含14个视觉任务,总体而言,模型在相同尺寸下普遍优于竞争对手,并在多帧能力和视频摘要方面与更大的模型竞争。

模型开源地址:
https://huggingface.co/microsoft/Phi-3.5-vision-Instruct

根据开源博客的声明,Phi-3.5系列模型在MIT许可下发布,即允许开发者自由使用、修改、发布、分发甚至销售软件副本。不过,该许可也附带免责声明,即要求软件得是“按原样”提供的,不附带任何形式的担保。微软和其他版权所有者不对因使用该软件而可能引发的任何索赔、损害或其他责任承担责任~

怎么训练?

给大家搬运下官方的训练步骤!我们以大哥Phi-3.5-MoE-instruct 的训练为例,Phi-3.5系列模型都集成到 transformers 的官方版本中,官方版本后续也通过 pip 发布:

  1. 加载模型时,确保在 from_pretrained() 函数中传递 trust_remote_code=True 作为参数。可以通过以下命令验证当前的 transformers 版本:

pip list | grep transformers。
  1. 安装所需软件包示例:

flash_attn==2.5.8
torch==2.3.1
accelerate==0.31.0
transformers==4.43.0

  1. 分词器

Phi-3.5-MoE-Instruct 支持最多 32064 个 token 的词汇量,分词器文件已经提供了可以用于下游微调的占位符 token,可以扩展到模型的最大词汇量。

  1. 输入格式

鉴于训练数据的特性,Phi-3.5-MoE-instruct 模型最适合使用以下聊天格式的提示:

图片

  1. 本地加载模型 在获得 Phi-3.5-MoE-instruct 模型检查点后,用户可以使用以下示例代码进行推理。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline 

torch.random.manual_seed(0) 

model = AutoModelForCausalLM.from_pretrained( 
    "microsoft/Phi-3.5-MoE-instruct",  
    device_map="cuda",  
    torch_dtype="auto",  
    trust_remote_code=True,  
) 

tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3.5-MoE-instruct") 

messages = [ 
    {"role": "system", "content": "You are a helpful AI assistant."}, 
    {"role": "user", "content": "Can you provide ways to eat combinations of bananas and dragonfruits?"}, 
    {"role": "assistant", "content": "Sure! Here are some ways to eat bananas and dragonfruits together: 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey. 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey."}, 
    {"role": "user", "content": "What about solving an 2x + 3 = 7 equation?"}, 
] 

pipe = pipeline( 
    "text-generation", 
    model=model, 
    tokenizer=tokenizer, 
) 

generation_args = { 
    "max_new_tokens": 500, 
    "return_full_text": False, 
    "temperature": 0.0, 
    "do_sample": False, 
} 

output = pipe(messages, **generation_args) 
print(output[0]['generated_text'])

结语

大家觉得Phi-3.5系列的三兄弟表现如何?虽然不同的基准测试可能让大家对他们的能力有不同的评价,褒贬不一,但不得不说,微软这次确实又开放了一个不错的模型,又OpenAI

图片

了不是!

图片

据奶茶今早看到的新闻,OpenAI 推出了 GPT-4o 微调功能,每天免费送100万Token,允许开发者为特定用例定制模型~

结合今天微软的又一开源,开源和闭源的发展越来越像两条快速延伸平行线,一方面是模型的开放,另一方面是在引导应用方向上的开放。

对此,大家怎么看?欢迎在评论区分享你的观点,与我们一起探讨!

图片

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值