微软开源 Phi-3.5 视觉模型

微软刚刚发布了 Phi 3.5 系列模型，一个小型模型 ("Mini")、一个混合模型 ("MoE") 和一个视觉模型。下面是关键总结：

• Phi 3.5 Mini:
  • 3.8B 参数，性能超过 Llama 3.1 (8B) 和 Mistral 7B，接近 Mistral NeMo 12B。
  • 支持多种语言，使用了包含 32,000 个词汇的分词器。
  • 512 个 H100 GPU，3.4 万亿个 tokens 训练了 10 天。
• Phi 3.5 MoE:
  • 16x3.8B 参数， 128K context，性能超过 Gemini Flash。
  • 512 个 H100 GPU，4.9 万亿个 tokens，训练了 23 天。
• Ph3.5 Vision
  • 4.2B 参数，超越 GPT4o，
  • 256 个 H100 GPU，5000 亿个 tokens，训练了 6 天。

最关键的是基于 MIT ，几乎是最宽松的开源协议了，微软大善人。这下除了 CloseAI，大家都是 OpenAI