MiniCPM: 揭示端侧大语言模型的无限潜力 github页面

原创 已于 2024-07-12 01:01:54 修改
· 1.6k 阅读 · 17 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #github #人工智能

于 2024-07-12 01:00:00 首次发布

MiniCPM: 揭示端侧大语言模型的无限潜力

中文 | English

MiniCPM 技术博客 | MiniCPM 论文 | MiniCPM-V 仓库 | 加入我们的 discord 和 微信群

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量, 总计2.7B参数量。

  • 经过 SFT 后，MiniCPM-2B 在公开综合性评测集上与 Mistral-7B 表现相近（中文、数学、代码能力更优），整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。
  • 经过 DPO 后，MiniCPM-2B 在当前最接近用户体感的评测集 MTBench 上也超越了 Llama2-70B-Chat、Vicuna-33B、Mistral-7B-Instruct-v0.1、Zephyr-7B-alpha 等众多代表性开源大模型。
  • 以 MiniCPM-2B 为基础构建端侧多模态大模型 MiniCPM-V 2.0，在多个测试基准中实现了 7B 以下模型的最佳性能，在 OpenCompass 榜单上超过了 Qwen-VL-Chat 9.6B、CogVLM-Chat 17.4B 和 Yi-VL 34B 等更大参数规模的模型。MiniCPM-V 2.0 还展现出领先的 OCR 能力，在场景文字识别能力上接近 Gemini Pro。
  • 经过 Int4 量化后，MiniCPM 可在手机上进行部署推理，流式输出速度略高于人类说话速度。MiniCPM-V 也直接跑通了多模态大模型在手机上的部署。
  • 一张1080/2080可高效参数微调，一张3090/4090可全参数微调，一台机器可持续训练 MiniCPM，二次开发成本较低。

我们完全开源MiniCPM系列的模型参数供学术研究和有限商用。 具体而言，我们目前已公开以下模型，地址详见 模型下载 部分

  • 基于MiniCPM-2B的指令微调与人类偏好对齐版本MiniCPM-2B-SFT/DPO。
  • 基于MiniCPM-2B的多模态模型MiniCPM-V 2.0。
  • MiniCPM-2B-SFT/DPO的Int4量化版MiniCPM-2B-SFT/DPO-Int4。
  • MiniCPM-2B的128k长文本版本MiniCPM-2B-128k。
  • MiniCPM-2B的MoE版本MiniCPM-MoE-8x2B。
  • 更轻量级的MiniCPM-1B指令微调版本MiniCPM-1B-SFT。
  • 基于MLC-LLM、LLMFarm开发的MiniCPM手机端程序，文本及多模态模型均可在手机端进行推理。
  • MiniCPM-2B训练过程中的30个Checkpoints供模型机理研究。

局限性：

  • 受限于模型规模，模型可能出现幻觉性问题。其中由于DPO模型生成的回复内容更长，更容易出现幻觉。我们也将持续进行MiniCPM模型的迭代改进。
  • 为了保证在学术研究用途上模型的通用性，我们未对模型进行任何身份认同训练。同时由于我们用ShareGPT开源语料作为部分训练数据，模型可能会输出类似GPT系列模型的身份认同信息。
  • 受限于模型规模，模型的输出受到提示词（prompt）的影响较大，可能多次尝试产生不一致的结果。
  • 受限于模型容量，模型的知识记忆较不准确，后续我们将结合RAG方法来增强模型的知识记忆能力。

目录

常用模块导航

推理 微调 手机部署 量化
Transformers Transformers MLC部署 GPTQ
vLLM mlx_finetune llama.cpp AWQ
llama.cpp llama_factory 困惑度测试
ollama
fastllm
mlx_lm
powerinfer

更新日志

模型下载

最低0.47元/天 解锁文章
VLM 系列——MiniCPM-Llama3-V 2.5——论文解读
TigerZ*的博客
08-09 1104
MiniCPM-Llama3-V 2.5 是一款面向终端设备的多模态大型语言模型（MLLM），它专注于实现在手机等资源受限设备上的高级AI功能，参数8B（llama3 7B + SigLIP ViT-400m/14 + 视觉标记压缩层）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、图文问答等功能。
VLM 系列——MiniCPM-Llama3-V 2.6——论文解读——前瞻（源码解读）
TigerZ*的博客
08-16 828
MiniCPM-Llama3-V 2.6 是一款面向终端设备的多模态大型语言模型（MLLM），论文暂未发布，它专注于实现在手机等资源受限设备上的高级AI功能，参数8B（qwen2 7B + SigLIP ViT-400m/14 + 视觉标记压缩层）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、代码编写和debug、多图问对话、视频理解对话、json格式、高清OCR解析（函数调用论文暂时未提）。本文结合源码，将重点改进和相关技术进行了拆解介绍。
MiniCPM:揭示端侧大语言模型的无限潜力
AI浩
06-07 1403
随着开发具有高达数万亿参数的大型语言模型（LLMs）的兴趣激增，关于资源效率和实际成本的担忧也随之而来，特别是考虑到实验的巨大成本。这一情形突显了探索小型语言模型（SLMs）作为资源高效替代方案的潜力。在此背景下，我们介绍了MiniCPM，特别是其1.2B和2.4B非嵌入参数变体，这些变体不仅在各自的类别中表现出色，而且在能力上与7B-13B的LLMs不相上下。尽管我们专注于SLMs，但我们的方法在模型和数据维度上都表现出可扩展性，为未来LLM的研究提供了可能。
gemma3、qwen2.5-vl、minicpm之间的对比评测
最新发布
zachary的博客
03-19 2723
gemma3、qwen2.5-vl、minicpm之间的对比评测
MiniCPM: 揭示小型语言模型的潜力与可扩展的训练策略
数智笔记
04-14 1153
对开发具有高达万亿参数的大型语言模型（LLMs）日益增长的兴趣引发了对资源效率和实际成本的担忧，尤其是考虑到实验的巨大成本。这种情况突显了探索小型语言模型（SLMs）潜力作为资源高效替代方案的重要性。在这种背景下，我们介绍了MiniCPM，特别是1.2B和2.4B非嵌入参数变体，在各自的类别中表现出色，同时展示了与7B-13B LLMs相媲美的能力。在专注于SLMs的同时，我们的方法在未来LLM研究中展现了模型和数据维度的可扩展性。在模型扩展方面，我们进行了大量模型风洞实验，以实现稳定和最佳的扩展。
MiniCPM-V: A GPT-4V Level MLLM on Your Phone论文阅读
yang_daxia的博客
08-19 1431
大模型的趋势：模型性能越来越好，模型参数变小，端边设备计算能力变强。
MiniCPM：揭示端侧大语言模型的无限潜力
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
02-04 3200
MiniCPM 是一系列端侧语言大模型，主体语言模型 MiniCPM-2B 具有 2.4B 的非词嵌入参数量。在综合性榜单上与 Mistral-7B 相近（中文、数学、代码能力更优），整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。在当前最接近用户体感的榜单 MTBench 上，MiniCPM-2B 也超越了 Llama2-70B-Chat、Vicuna-33B、Mistral-7B-Instruct-v0.1、Zephyr-7B-alpha 等众多代表性开源大模型。
揭示端侧大语言模型的无限潜力：多种量化模型，可以在个人电脑或者手机上安装部署使用，几行代码进行调研可以离线使用
代码讲故事
02-20 476
揭示端侧大语言模型的无限潜力：多种量化模型，可以在个人电脑或者手机上安装部署使用，几行代码进行调研可以离线使用。
深入浅出：从入门到精通大模型Prompt、SFT、RAG、Infer、Deploy、Agent
lengm
12-28 2141
深入浅出：万字长文从入门到精通大语言模型LLM
【LLM-多模态】高效多模态大型语言模型综述
weixin_45607947的博客
06-21 2223
一、结论写在前面模型规模的庞大及训练和推理成本的高昂，限制了MLLMs在学术界和工业界的广泛应用。因此，研究高效轻量级的MLLMs具有巨大潜力，特别是在边缘计算场景中。论文深入探讨了高效MLLM文献的领域，提供了一个全面的视角，涵盖了其核心主题，包括基础理论及其扩展。论文的目标是识别并强调需要进一步研究并提出未来研究可能的方向。论文旨在提供一个关于高效MLLM当前状态的全面视角，希望能够激发更多的研究。鉴于该领域的动态性，可能有些最新的发展并未被完全覆盖。为此，论文建立了一个专门的网站，利用众包来跟上最新的
国产“小钢炮”MiniCPM3-4B：小参数，大能量！
OpenCSG的博客
09-09 3258
在工具调用能力的评测中，MiniCPM3-4B 在 BFCL（Berkeley Function Calling Leaderboard）上的得分高达 76.0%，领先于 Qwen2-7B-Instruct（71.6%） 和 GLM-4-9B-Chat（70.1%） 等多个更大参数模型，表现出超强的工具调用能力。与部分 7B、9B 参数的大模型相比，MiniCPM3-4B 的性能表现显著更好，尤其是在中文能力、数学能力等任务中优势明显。随着版本迭代，模型层数逐步增加，提升了模型的复杂性与推理能力。
MiniCPM-V大模型部署教程
SJJS_1的博客
08-20 3756
MiniCPM-V 是面向图文理解的端侧多模态大模型系列。该系列模型接受图像和文本输入，并提供高质量的文本输出，自 2024 年 2 月已发布 5 个版本模型。本文将详细介绍部署
面壁小钢炮3.0发布：端侧ChatGPT时代的技术飞跃
imok1234567的博客
09-05 2225
面壁小钢炮3.0的发布标志着端侧AI技术的显著进步。新一代模型不仅在参数规模和处理能力上全面超越了前两代，还引入了超长上下文长度和Function Calling等先进功能。这些改进使得小钢炮3.0在处理复杂任务和智能交互方面表现卓越。
【面壁小钢炮 MiniCPM 3.0】：强势超越 GPT-3.5，解锁‘无限’长文本，推理实战全攻略
m0_59235945的博客
10-16 1400
在快速发展的科技时代，人工智能正深刻改变我们的生活和工作。它广泛应用于日常生活、工业生产、医疗诊断和金融分析等多个领域。特别值得关注的是，
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.04.05-2024.04.10
小小帅
04-12 1360
自动定理证明的最新进展表明，利用（大型）语言模型生成策略（即证明步骤）来搜索证明状态是非常有效的。当前的模型虽然只根据成功的证明路径进行训练，但在推理阶段却面临着差异，因为它必须在每个证明状态下采样并尝试各种策略，直到找到成功的方法，这与它的训练不同，它没有从失败的尝试中学习。直观地说，导致搜索路径失败的策略表明，类似的策略在接下来的试验中应受到较少关注。在本文中，我们展示了训练模型的好处，即模型可以从失败的搜索路径中学习。
如何安装和配置Minicom
m0_72501865的博客
11-03 6237
​。
新一代面壁小钢炮 MiniCPM-V 2.6 微调指南
强化学习曾小健
08-10 3868
每个conversations对应的列表中是一个多轮对话，content代表对话内容，role对应user代表用户输入，role对应assistant代表模型输出。手把手带你实操MiniCPM-V 2.6 全量微调与Lora微调，一键定制你的专属端侧多模态模型！<image>\n应该出现在每个数据集对话数据的开头。"image"对应的地址需要存在图片。2024年08月09日 13:15。今天，为大家带来的是。
LLMFarm 开源项目教程
gitblog_00200的博客
09-08 1050
LLMFarm 开源项目教程 LLMFarmllama and other large language models on iOS and MacOS offline using GGML library.项目地址:https://gitcode.com/gh_mirrors/ll/LLMFarm 1、项目介绍 LLMFarm 是一个用于在 iOS 和 MacOS 上运行大型语言模型（LLM...
MiniCPM-V 项目安装和配置指南
gitblog_09006的博客
09-13 741
MiniCPM-V 项目安装和配置指南 MiniCPM-V MiniCPM-V 2.0: An Efficient End-side MLLM with Strong OCR and Understanding Capabilities ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值