当大模型加速应用落地,运行成本就成为各厂商的现实考量。
将模型做小,成为现实市场需求下的趋势。但模型的Scaling Law(规模定律)已指出,参数规模是决定模型性能的最关键因素。如何用更小的参数规模,达到比肩大模型的性能,是需要解决的难题。
“以小博大”的励志故事,2023年9月发生在法国AI独角兽Mistral上。其发布的开源模型用7B的参数规模,在MMLU(多任务语言理解)、Knowledge(知识)、Reasoning(推理)、Comprehension(理解)等关键指标上均超越了Meta Llama 2的13B模型。
这一个故事,在2024年2月1日的发布会上,也被AI模型层公司面壁智能的CEO李大海不断提起。
对标Mistral,面壁智能发布了训练数据规模近1T、参数规模仅2B的模型:聚焦于适配端侧硬件的端侧大模型MiniCPM-2B。
为什么瞄准端侧场景?李大海给出的理由,仍然是旺盛的市场需求,和云端协同的部署趋势。自2023年下半年起,三星、华为、小米、特斯拉、理想等国内外手机和智驾厂商都发布了适配于终端硬件的大模型。
在终端硬件厂商加速产品AI化的趋势下,面壁智能认为,成本是大模型的隐形竞争力,“比起size,我们更在意成本”。
以搭载了骁龙855芯片的OPPO手机为例,MiniCPM每秒能处理7.5 Tokens,运行5年后报废,成本为600元,由此可得170万Tokens的推理成本仅1元——MiniCPM的推理成本仅Mistral的1/100,GPT-4的1/360。
据介绍,目前MiniCPM-2