面壁智能发布2B模型：适配主流手机，推理成本仅为GPT-4的1/360

当大模型加速应用落地，运行成本就成为各厂商的现实考量。

将模型做小，成为现实市场需求下的趋势。但模型的Scaling Law（规模定律）已指出，参数规模是决定模型性能的最关键因素。如何用更小的参数规模，达到比肩大模型的性能，是需要解决的难题。

“以小博大”的励志故事，2023年9月发生在法国AI独角兽Mistral上。其发布的开源模型用7B的参数规模，在MMLU（多任务语言理解）、Knowledge（知识）、Reasoning（推理）、Comprehension（理解）等关键指标上均超越了Meta Llama 2的13B模型。

这一个故事，在2024年2月1日的发布会上，也被AI模型层公司面壁智能的CEO李大海不断提起。

对标Mistral，面壁智能发布了训练数据规模近1T、参数规模仅2B的模型：聚焦于适配端侧硬件的端侧大模型MiniCPM-2B。

为什么瞄准端侧场景？李大海给出的理由，仍然是旺盛的市场需求，和云端协同的部署趋势。自2023年下半年起，三星、华为、小米、特斯拉、理想等国内外手机和智驾厂商都发布了适配于终端硬件的大模型。

在终端硬件厂商加速产品AI化的趋势下，面壁智能认为，成本是大模型的隐形竞争力，“比起size，我们更在意成本”。

以搭载了骁龙855芯片的OPPO手机为例，MiniCPM每秒能处理7.5 Tokens，运行5年后报废，成本为600元，由此可得170万Tokens的推理成本仅1元——MiniCPM的推理成本仅Mistral的1/100，GPT-4的1/360。

据介绍，目前MiniCPM-2