微软刚刚发布了 Phi 3.5 系列模型,一个小型模型 ("Mini")、一个混合模型 ("MoE") 和一个视觉模型。下面是关键总结:
- Phi 3.5 Mini:
- 3.8B 参数,性能超过 Llama 3.1 (8B) 和 Mistral 7B,接近 Mistral NeMo 12B。
- 支持多种语言,使用了包含 32,000 个词汇的分词器。
- 512 个 H100 GPU,3.4 万亿个 tokens 训练了 10 天。
- Phi 3.5 MoE:
- 16x3.8B 参数, 128K context,性能超过 Gemini Flash。
- 512 个 H100 GPU,4.9 万亿个 tokens,训练了 23 天。
- Ph3.5 Vision
- 4.2B 参数,超越 GPT4o,
- 256 个 H100 GPU,5000 亿个 tokens,训练了 6 天。
最关键的是基于 MIT ,几乎是最宽松的开源协议了,微软大善人。这下除了 CloseAI,大家都是 OpenAI