清华系2B模型杀出，性能吊打LLaMA-13B，170万tokens仅需1块钱

清华系面壁智能开始卷小模型了：14 天实现用 2B 模型超越 7B、13B，170 万 tokens 仅花 1 块钱

2 月 1 日，面壁智能与清华大学自然语言处理实验室共同开源了系列端侧语言大模型 MiniCPM，主体语言模型 MiniCPM-2B 仅有 24 亿（2.4B）的非词嵌入参数量。

在综合性榜单上与 Mistral-7B 相近，在中文、数学、代码能力表现更优，整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。

具体开源模型包括：

• 基于 MiniCPM-2B 的指令微调与人类偏好对齐的 MiniCPM-2B-SFT/DPO。
• 基于 MiniCPM-2B 的多模态模型 MiniCPM-V，能力超越基于 Phi-2 的同参数级别多模态模型 。
• MiniCPM-2B-SFT/DPO 的 Int4 量化版 MiniCPM-2B-SFT/DPO-Int4。
• 基于 MLC-LLM、LLMFarm 开发的 MiniCPM 手机端程序，文本及多模态模型均可在手机端进行推理。

开源地址（内含技术报告）： 

MiniCPM GitHub：https://github.com/OpenBMB/MiniCPMOmniLMM

GitHub：https://github.com/OpenBMB/OmniLMM

超越 Mistral-7B、LLaMA-13B 

“用最小的规模，做最强的 AI。”面壁智能 CEO 李大海说道。“以小搏大”的典型是 Mistral-7B，其在业内收获了很多赞誉，一度被誉为“开源模型的新王者”，其公司 Mistral AI 也被称为“欧洲 OpenAI”。

面壁智能的 MiniCPM 一定程度上直接对标了 Mistral-7B。在多项主流测评中，MiniCPM-2B 的中英文平均成绩均超过了 Mistral-7B。“Mistral-7B 用 7B 战胜了 LLaMA-13B 的模型，我们用 2B 干掉 LLaMA 的 13B。”面壁智能 CTO 曾国洋说道。

李大海表示，“跟微软相比我们有两大优势，2B 性能小钢炮同等规模能力领先，主流表现大幅超越，能力更全、更强。与 13、20B 和 40B 规模的模型也有掰手腕的能力。”

在英文能力上，MiniCPM 的得分超越了 Llama2-13B、Falcon-40B：

在当前最接近用户体感的评测集 MTBench 上，MiniCPM-2B 超越了 Llama2-70B-Chat、Vicuna-33B、Mistral-7B-Instruct-v0.1、Zephyr-7B-alpha 等众多代表性开源大模型。