VLM 系列——MiniCPM-Llama3-V 2.5——论文解读

最新推荐文章于 2024-08-29 15:13:10 发布
最新推荐文章于 2024-08-29 15:13:10 发布
阅读量738 收藏 2
点赞数 5
分类专栏： AIGC算法 文章标签： AIGC 人工智能 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012863603/article/details/141063127
版权
AIGC算法 专栏收录该内容
37 篇文章 17 订阅 ¥89.90 ¥99.00
订阅专栏

一、概述

1、是什么

     是一款面向终端设备的多模态大型语言模型（MLLM），论文全称《 MiniCPM-V: A GPT-4V Level MLLM on Your Phone 》，它专注于实现在手机等资源受限设备上的高级AI功能，参数8B（llama3 7B + SigLIP ViT-400m/14 + 视觉标记压缩层 ）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描
了解本专栏 订阅专栏 解锁全文
TigerZ*
关注
专栏目录
订阅专栏
MiniCPM-V 2.5 技术调研
AIMasterStar的博客
06-05 594
如果不采取任何优化，一张 448*448 分辨率图片编码通常需要 45s 处理时间。通过手机端编译优化、显存整理等一系列优化方式，MiniCPM-Llama3-V 2.5 将 CPU 编码延迟降低到了 5s 左右。对于高通芯片的小米14Pro，MiniCPM-Llama3-V 2.5 实现了多模态大模型端侧图像编码150 倍加速的显著提升（45s -> 0.3s）。
VLM 系列——MiniCPM-Llama3-V 2.6——论文解读——前瞻（源码解读）
TigerZ*的博客
08-16 493
MiniCPM-Llama3-V 2.6 是一款面向终端设备的多模态大型语言模型（MLLM），论文暂未发布，它专注于实现在手机等资源受限设备上的高级AI功能，参数8B（qwen2 7B + SigLIP ViT-400m/14 + 视觉标记压缩层）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、代码编写和debug、多图问对话、视频理解对话、json格式、高清OCR解析（函数调用论文暂时未提）。本文结合源码，将重点改进和相关技术进行了拆解介绍。
MiniCPM-V: A GPT-4V Level MLLM on Your Phone论文阅读
yang_daxia的博客
08-19 1178
大模型的趋势：模型性能越来越好，模型参数变小，端边设备计算能力变强。
MiniCPM-V | 端侧GPT4V level的多模态大模型
justBeHerHero
08-14 1344
MiniCPM-V | 端侧GPT4V level的多模态大模型
本地部署 MiniCPM-Llama3-V 2.5
engchina的专栏
05-27 6139
本地部署 MiniCPM-Llama3-V 2.5
MiniCPM: 揭示小型语言模型的潜力与可扩展的训练策略
数智笔记
04-14 991
对开发具有高达万亿参数的大型语言模型（LLMs）日益增长的兴趣引发了对资源效率和实际成本的担忧，尤其是考虑到实验的巨大成本。这种情况突显了探索小型语言模型（SLMs）潜力作为资源高效替代方案的重要性。在这种背景下，我们介绍了MiniCPM，特别是1.2B和2.4B非嵌入参数变体，在各自的类别中表现出色，同时展示了与7B-13B LLMs相媲美的能力。在专注于SLMs的同时，我们的方法在未来LLM研究中展现了模型和数据维度的可扩展性。在模型扩展方面，我们进行了大量模型风洞实验，以实现稳定和最佳的扩展。
MiniCPM:揭示端侧大语言模型的无限潜力
AI浩
06-07 1053
随着开发具有高达数万亿参数的大型语言模型（LLMs）的兴趣激增，关于资源效率和实际成本的担忧也随之而来，特别是考虑到实验的巨大成本。这一情形突显了探索小型语言模型（SLMs）作为资源高效替代方案的潜力。在此背景下，我们介绍了MiniCPM，特别是其1.2B和2.4B非嵌入参数变体，这些变体不仅在各自的类别中表现出色，而且在能力上与7B-13B的LLMs不相上下。尽管我们专注于SLMs，但我们的方法在模型和数据维度上都表现出可扩展性，为未来LLM的研究提供了可能。
VLM 系列——Mini-Monkey——论文解读
TigerZ*的博客
08-29 242
Mini-Monkey 是一个轻量级MLLM（多模态的视觉-文本模型），基于InternViT、MLP和InternLLM，其实就是全套的Intern VL2。在2B参数MLLM中取得了最先进的性能。,模型和训练策略非常高效.创新点：图像的处理方式——多尺度自适应裁剪策略（MSAC）+一种尺度压缩机制（SCM）。Mini-Monkey能够自适应地生成多尺度表示，允许它从不同尺度中选择未被分割的物体，并有效地压缩图像标记。
VLM 系列——Monkey——论文解读
TigerZ*的博客
01-28 765
Monkey，是一个多模态的视觉-文本模型，当前版本（20231130）为基于Qwen-vl 的三阶段微调（增加了Lora+visual adapter 支持更高的分辨率）可以完成对一幅图片进行描述（强项，更细节）、相关事物（文本）进行问答（强项，尤其文本），但是这个版本只支持一个图片（为且必为首次输入），几乎不支持写代码（目前测试是的），图中物体或指定输出检测框仍然保留的能力，但是弱了。提出使用Lora 微调已有Qwen-vl 视觉编码器（有多个，看下文的模型结构），加visual adapter 将多个
AIGC（MLLM、VLM、LLM、SD）系列——论文解读目录
TigerZ*的博客
01-08 3220
AIGC（MLLM、VLM、LLM、SD）系列，论文解读目录。快速找到你想要的论文。
PerfXCloud 重大更新 | 端侧多模态模型 MiniCPM-Llama3-V 2.5 闪亮上架
Perfxlab的博客
08-27 448
MiniCPM 是以「以小博大」著称的旗舰端侧模型，也不断推新端侧多模态能力天花板——MiniCPM-Llama3-V 2.5实现了「以最小参数，撬动最强性能」的最佳平衡点，并具备以下。：OCRBench 得分达到 725，超越GPT-4o、GPT-4V、Gemini Pro、Qwen-VL-Max 等商用闭源模型，达到最佳水平。：MiniCPM-Llama3-V 2.5以 8B 量级的大小超过了GPT-4V-1106、Gemini Pro 等主流商用闭源多模态大模型。赶快注册申请成为基石用户来体验吧！
全球最强端侧多模态模型！国产「面壁小钢炮」MiniCPM-Llama3-V 2.5 来了！
u012744245的博客
06-04 2592
得益于 VisCPM 的跨语言泛化技术，在中英双语多模态能力的基础上，MiniCPM-Llama3-V 2.5 仅通过少量翻译的多模态数据的指令微调，高效泛化支持了德语、法语、西班牙语、意大利语、俄语等 30+ 种语言的多模态能力，几乎覆盖了所有一带一路的国家，意味着全球上百个国家的数十亿人口，都能与 MiniCPM-Llama3-V 2.5 丝滑交互。OCR 技术进一步打磨，复杂推理与多模态识别能力再进化，MiniCPM-Llama3-V 2.5 对于难图、长图、长文本的精准识别，再度带来出众表现！
MiniCPM: 揭示端侧大语言模型的无限潜力 github页面
人工智能曾小健
07-12 1180
加入我们的和MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有24亿（2.4B）的非词嵌入参数量,总计2.7B参数量。Mistral-7B 表现相近MTBench 上也超越了 Llama2-70B-Chat、Vicuna-33B、Mistral-7B-Instruct-v0.1、Zephyr-7B-alpha领先的 OCR 能力场景文字识别能力上接近 Gemini Pro流式输出速度略高于人类说话速度。
MiniCPM-V 2.6 面壁“小钢炮”，多图、视频理解多模态模型，部署和推理实战教程
老牛啊
08-14 1669
MiniCPM-V 最新发布了 2.6 版本，仅 8B 的参数量，但在图片、视频方面理解能力表现卓越，本教程在本地进行部署和推理实战……
效果媲美GPT4V的多模态大型语言模型MiniCPM-V-2_6详细介绍
最新发布
全世界的博客
08-29 1483
是由nuoan开发的一款达到GPT-4V级别的多模态大型语言模型（MLLM）。该模型专为手机上的单图像、多图像和视频处理设计，旨在提供高效、准确的多模态内容理解与生成能力。随着移动设备的普及和计算能力的提升，用户对于在移动端进行复杂图像和视频处理的需求日益增长。MiniCPM-V-2.6的推出，正是为了满足这一需求，提供了一种在移动设备上实现高性能多模态处理的解决方案。模型可以对长视频进行快速的内容摘要，提取出视频中的关键信息和重要片段。
MiniCPM-V 2.6：端侧最强多模态大模型探索【微调实战体验】
寻道码路，探索编程之路的无限可能。
08-24 1676
在先前的篇章中，我们已然沉浸式体验了 MiniCPM-V 2.6 模型的本地部署和推理实战，而在本篇中，我们将踏上一场更为深入的探索之旅 ——MiniCPM-V 2.6 的微调实践。这一实践不仅是对模型性能的进一步挖掘，更是为了满足各种特定应用场景的需求，开启多模态大模型的无限可能。
MiniCPM-V大模型部署教程
SJJS_1的博客
08-20 2314
MiniCPM-V 是面向图文理解的端侧多模态大模型系列。该系列模型接受图像和文本输入，并提供高质量的文本输出，自 2024 年 2 月已发布 5 个版本模型。本文将详细介绍部署
最强终端部署的多模态MiniCPM-V模型部署分享（不看后悔）
m0_71062934的博客
07-05 1924
MiniCPM-V模型是一个强大的端侧多模态大语言模型，专为高效的终端部署而设计。 目前该模型有MiniCPM-V 1.0、MiniCPM-V 2.0和MiniCPM-Llama3-V 2.5版本。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TigerZ*

你点滴支持，我持续创作，羞羞

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值