Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone

本文是LLM系列文章，针对《Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone》的翻译。

摘要

我们介绍了phi-3-mini，这是一个在3.3万亿个token上训练的38亿参数语言模型，其总体性能，通过学术基准和内部测试来衡量，可以与Mixtral 8x7B和GPT-3.5等模型相媲美（例如，phi-3-mini在MMLU上实现69%，在MT平台上实现8.38），尽管它足够小，可以部署在手机上。创新完全在于我们的训练数据集，这是phi-2所用数据集的放大版，由经过严格过滤的网络数据和合成数据组成。该模型还进一步调整了稳健性、安全性和聊天格式。我们还提供了一些针对4.8Ttoken训练的7B和14B模型的初始参数缩放结果，称为phi-3-small和phi-3-medium，两者的能力都明显高于phi-3-mini（例如，在MMLU上分别为75%和78%，在MT平台上分别为8.7和8.9）。

1 引言

2 技术规范

3 学术基准

4 安全性

</