MiniCPM-V大模型部署教程

于 2024-08-20 15:05:40 发布
阅读量322 收藏 16
点赞数 13
分类专栏： 模型构建 文章标签： 人工智能 AIGC 开源 深度学习 算法 ai 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SJJS_1/article/details/141359122
版权

一、介绍

MiniCPM-V 是面向图文理解的端侧多模态大模型系列。该系列模型接受图像和文本输入，并提供高质量的文本输出。自 2024 年 2 月以来，共发布了 5 个版本模型，旨在实现 领先的性能和高效的部署 ，目前该系列最值得关注的模型包括：

  • MiniCPM-V 2.6 : MiniCPM-V 系列的最新、性能最佳模型。总参数量 8B，单图、多图和视频理解性能 超越了 GPT-4V 。在单图理解上，它取得了优于 GPT-4o mini、Gemini 1.5 Pro 和 Claude 3.5 Sonnet 等商用闭源模型的表现，并进一步优化了 MiniCPM-Llama3-V 2.5 的 OCR、可信行为、多语言支持以及端侧部署等诸多特性。基于其领先的视觉 token 密度，MiniCPM-V 2.6 成为了首个支持在 iPad 等端侧设备上进行实时视频理解的多模态大模型。
  • MiniCPM-V 2.0 ：MiniCPM-V 系列的最轻量级模型。总参数量 2B，多模态综合性能超越 Yi-VL 34B、CogVLM-Chat 17B、Qwen-VL-Chat 10B 等更大参数规模的模型，可接受 180 万像素的任意长宽比图像输入，实现了和 Gemini Pro 相近的场景文字识别能力以及和 GPT-4V 相匹的低幻觉率。

MiniCPM-V 开源模型旨在与开源社区一起推动大模型技术发展，请开发者和大家遵守开源协议，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务。目前，该项目团队未基于 MiniCPM-V 开源模型开发任何应用，包括网页端、安卓、苹果 iOS 及 Windows App 等应用。

尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于 MiniCPM-V 模型规模较小，且模型受概率随机性因素影响，无法保证输出内容的准确。同时模型的输出容易被用户的输入误导。

  • 本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。 *

更多详细信息见 Github 仓库。

二、部署过程

基础环境最低要求说明：

环境名称版本信息1
Ubuntu22.04.4 LTS
CudaV12.1.105
Python3.10.14
NVIDIA CorporationRTX 3090

1. 更新基础软件包：

查看系统版本信息

# 查看系统版本信息，包括ID（如ubuntu、centos等）、版本号、名称、版本号ID等
cat /etc/os-release

image.png

配置 apt 国内源

# 更新软件包列表
apt-get update

这个命令用于更新本地软件包索引。它会从所有配置的源中检索最新的软件包列表信息，但不会安装或升级任何软件包。这是安装新软件包或进行软件包升级之前的推荐步骤，因为它确保了您获取的是最新版本的软件包。

# 安装 Vim 编辑器
apt-get install -y vim

这个命令用于安装 Vim 文本编辑器。-y 选项表示自动回答所有的提示为“是”，这样在安装过程中就不需要手动确认。Vim 是一个非常强大的文本编辑器，广泛用于编程和配置文件的编辑。

为了安全起见，先备份当前的 sources.list 文件之后，再进行修改：

# 备份现有的软件源列表
cp /etc/apt/sources.list /etc/apt/sources.list.bak

这个命令将当前的 sources.list 文件复制为一个名为 sources.list.bak 的备份文件。这是一个好习惯，因为编辑 sources.list 文件时可能会出错，导致无法安装或更新软件包。有了备份，如果出现问题，您可以轻松地恢复原始的文件。

# 编辑软件源列表文件
vim /etc/apt/sources.list

这个命令使用 Vim 编辑器打开 sources.list 文件，以便您可以编辑它。这个文件包含了 APT（Advanced Package Tool）用于安装和更新软件包的软件源列表。通过编辑这个文件，您可以添加新的软件源、更改现有软件源的优先级或禁用某些软件源。

在 Vim 中，您可以使用方向键来移动光标，i 键进入插入模式（可以开始编辑文本），Esc 键退出插入模式，:wq 命令保存更改并退出 Vim，或 :q! 命令不保存更改并退出 Vim。

编辑 sources.list 文件时，请确保您了解自己在做什么，特别是如果您正在添加新的软件源。错误的源可能会导致软件包安装失败或系统安全问题。如果您不确定，最好先搜索并找到可靠的源信息，或者咨询有经验的 Linux 用户。

image.png

使用 Vim 编辑器打开 sources.list 文件，复制以下代码替换 sources.list里面的全部代码，配置 apt 国内阿里源。

deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy-backports main restricted universe multiverse

image.png

安装常用软件和工具

# 更新源列表，输入以下命令：
apt-get update

# 更新系统软件包，输入以下命令：
apt-get upgrade

# 安装常用软件和工具，输入以下命令：
apt-get -y install vim wget git git-lfs unzip lsof net-tools gcc cmake build-essential

出现以下页面，说明国内apt源已替换成功，且能正常安装apt软件和工具

image.png

2. 安装 NVIDIA CUDA Toolkit 12.1

  • 下载 CUDA Keyring ：
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.0-1_all.deb

这个命令用于下载 CUDA 的 GPG 密钥环，它用于验证 CUDA 软件包的签名。这是确保软件包安全性的一个重要步骤。

  • 安装 CUDA Keyring ：
dpkg -i cuda-keyring_1.0-1_all.deb

使用 dpkg 安装下载的密钥环。这是必要的，以便 apt 能够验证从 NVIDIA 仓库下载的软件包的签名。

image.png

  • 删除旧的 apt 密钥（如果必要） ：
apt-key del 7fa2af80

这一步可能不是必需的，除非您知道 7fa2af80 是与 CUDA 相关的旧密钥，并且您想从系统中删除它以避免混淆。通常情况下，如果您只是安装 CUDA 并使用 NVIDIA 提供的最新密钥环，这一步可以跳过。

  • 更新 apt 包列表 ：
apt-get update

更新 apt 的软件包列表，以便包括刚刚通过 cuda-keyring 添加的 NVIDIA 仓库中的软件包。

  • 安装 CUDA Toolkit ：
apt-get -y install cuda-toolkit-12-1

image.png

出现以下页面，说明 NVIDIA CUDA Toolkit 12.1 安装成功

image.png

注意：这里可能有一个问题。NVIDIA 官方 Ubuntu 仓库中可能不包含直接名为 cuda-toolkit-12-1 的包。通常，您会安装一个名为 cuda 或 cuda-12-1 的元包，它会作为依赖项拉入 CUDA Toolkit 的所有组件。请检查 NVIDIA 的官方文档或仓库，以确认正确的包名。

如果您正在寻找安装特定版本的 CUDA Toolkit，您可能需要安装类似 cuda-12-1 的包（如果可用），或者从 NVIDIA 的官方网站下载 CUDA Toolkit 的 .run 安装程序进行手动安装。

请确保您查看 NVIDIA 的官方文档或 Ubuntu 的 NVIDIA CUDA 仓库以获取最准确的包名和安装指令。

image.png

  • 出现以上情况，需要配置 NVIDIA CUDA Toolkit 12.1 系统环境变量

编辑 ~/.bashrc 文件

# 编辑 ~/.bashrc 文件
vim ~/.bashrc

插入以下环境变量

# 插入以下环境变量
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

image.png

激活 ~/.bashrc 文件

# 激活 ~/.bashrc 文件
source ~/.bashrc

查看cuda系统环境变量

which nvcc
nvcc -V

image.png

3. 安装 Miniconda：

  • 下载 Miniconda 安装脚本 ：
    • 使用 wget 命令从 Anaconda 的官方仓库下载 Miniconda 的安装脚本。Miniconda 是一个更小的 Anaconda 发行版，包含了 Anaconda 的核心组件，用于安装和管理 Python 包。
  • 运行 Miniconda 安装脚本 ：
    • 使用 bash 命令运行下载的 Miniconda 安装脚本。这将启动 Miniconda 的安装过程。
# 下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

# 运行 Miniconda 安装脚本
bash Miniconda3-latest-Linux-x86_64.sh

# 初次安装需要激活 base 环境
source ~/.bashrc

按下回车键（enter）
image.png

输入yes

image.png

输入yes

image.png

安装成功如下图所示

image.png

pip配置清华源加速

# 编辑 /etc/pip.conf 文件
vim  /etc/pip.conf

加入以下代码

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

注意事项：

  • 请确保您的系统是 Linux x86_64 架构，因为下载的 Miniconda 版本是为该架构设计的。
  • 在运行安装脚本之前，您可能需要使用 chmod +x Miniconda3-latest-Linux-x86_64.sh 命令给予脚本执行权限。
  • 安装过程中，您将被提示是否同意许可协议，以及是否将 Miniconda 初始化。通常选择 “yes” 以完成安装和初始化。
  • 安装完成后，您可以使用 conda 命令来管理 Python 环境和包。
  • 如果链接无法访问或解析失败，可能是因为网络问题或链接本身的问题。请检查网络连接，并确保链接是最新的和有效的。如果问题依旧，请访问 Anaconda 的官方网站获取最新的下载链接。

4. 从 github 仓库 克隆项目：

  • 克隆存储库：
    • git clone https://github.com/OpenBMB/MiniCPM-V.git
  • 切换目录：
    • cd MiniCPM-V
    • 这个命令使用 cd（change directory）命令切换当前工作目录到刚才克隆的 “MiniCPM-V” 目录中。这意味着接下来执行的所有命令都是在该项目目录下执行。
# 克隆 MiniCPM-V 项目
git clone https://github.com/OpenBMB/MiniCPM-V.git

# 切换到克隆的项目目录中
cd MiniCPM-V

image.png

如果 github 无法访问，使用国内镜像进行克隆

git clone https://gitee.com/empty-snow/MiniCPM-V.git

# 克隆 MiniCPM-V 项目
git clone https://gitee.com/empty-snow/MiniCPM-V.git

image.png

出现以上页面即是克隆项目成功！

请注意，如果 git clone https://github.com/THUDM/ChatGLM3 这个链接不存在或者无效，git clone 命令将不会成功克隆项目，并且会报错。确保链接是有效的，并且您有足够的权限访问该存储库。

5. 创建虚拟环境

# 创建一个名为 MiniCPMV 的新虚拟环境，并指定 Python 版本为 3.10
conda create -n MiniCPMV python=3.10 -y

image.png

6. 安装模型依赖库：

  • 切换到项目目录
# 切换到克隆的项目目录中
cd MiniCPM-V
  • 激活 MiniCPMV 虚拟环境
# 激活新创建的虚拟环境
conda activate MiniCPMV

image.png

  • 安装 requirements.txt 依赖
# 在 MiniCPMV 环境中安装 requirements.txt 依赖
pip install -r requirements.txt

image.png

依赖安装成功如下图所示：

image.png

7. 下载预训练模型：

安装 modelscope 依赖包

pip install modelscope

image.png

创建一个Python下载脚本

vim modelscope_download.py

插入以下下载代码

# Python 代码下载模型
from modelscope import snapshot_download
model_dir = snapshot_download('OpenBMB/MiniCPM-V-2_6', cache_dir='./', revision='master')

执行 modelscope_download.py 文件进行模型下载

python modelscope_download.py

image.png

8. 运行 web_demo_2.6.py 文件

# 运行 web_demo_2.6.py 文件
python web_demo_2.6.py

image.png

image.png

出现以上报错，需要修改模型路径

# 编辑 web_demo_2.6.py 文件
python web_demo_2.6.py

image.png

替换为刚刚下载模型的路径

model_path = 'OpenBMB/MiniCPM-V-2_6'

再次运行 web_demo_2.6.py 文件

# 运行 web_demo_2.6.py 文件
python web_demo_2.6.py

image.png

出现以上结果，还需要继续修改 web_demo_2.6.py 文件的IP和端口，才能进入 gradio 页面

编辑 web_demo_2.6.py 文件
vim  web_demo_2.6.py

image.png

替换为

demo.launch(share=True, debug=True, show_api=False, server_port=8080, server_name="0.0.0.0")

替换说明：server_name 为IP地址, server_port 为端口号，根据访问需求进行替换即可

image.png

三、网页演示

出现以下 Gradio 页面，即是模型已搭建完成。

image.png

算家云
关注
  • 13
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
最强终端部署的多模态MiniCPM-V模型部署分享（不看后悔）
m0_71062934的博客
07-05 1112
MiniCPM-V模型是一个强大的端侧多模态大语言模型，专为高效的终端部署而设计。 目前该模型有MiniCPM-V 1.0、MiniCPM-V 2.0和MiniCPM-Llama3-V 2.5版本。
MiniCPM-V 2.6 本地快速部署使用
VC_Alexa的博客
08-15 675
部署教程很多，但是感觉不够直接，小白的我就是拿来就用的，所以写个最最最直接的。
多图、视频首上端！面壁「小钢炮」 MiniCPM-V 2.6 模型重磅上新！魔搭推理、微调、部署实战教程modelscope
stephen147的博客
08-07 894
再次刷新端侧多模态天花板，面壁「小钢炮」 MiniCPM-V 2.6 模型重磅上新！该模型基于 SigLip-400M 和 Qwen2-7B 构建，仅 8B 参数，取得 20B 以下单图、多图、视频理解 3 SOTA 成绩，一举将端侧AI多模态能力拉升至全面对标 GPT-4V 水平。更有多项功能首次上「端」：小钢炮一口气将实时视频理解、多图联合理解、多图 ICL 等能力首次搬上端侧多模态模型，更接近充斥着复杂、模糊、连续实时视觉信息的多模态真实世界，更能充分发挥端侧 AI 传感器富集、贴近用户的优势。
MiniCPM-V 开源项目教程
gitblog_00396的博客
08-08 792
MiniCPM-V 开源项目教程 MiniCPM-VMiniCPM-V 2.0: An Efficient End-side MLLM with Strong OCR and Understanding Capabilities项目地址:https://gitcode.com/gh_mirrors/mi/MiniCPM-V 项目介绍 MiniCPM-V 是一个高效的多模态语言模型，专为处理高分辨...
【AIGC调研系列】MiniCPM-Llama3-V2.5模型与GPT-4V对比
zachary的博客
05-21 1894
MiniCPM-Llama3-V2.5模型与GPT-4V的对比可以从多个方面进行分析，包括性能、应用场景和技术特点。从性能角度来看，MiniCPM-Llama3-V2.5在OCR识别、模型幻觉能力和空间理解能力方面表现出色，实现了开源模型的性能SOTA（State of the Art）[2]。这表明MiniCPM-Llama3-V2.5在处理图像和文本信息方面具有较高的效率和准确性。
MiniCPM-V2.6为什么能登顶Github？
百态老人的博客
08-14 324
MiniCPM-V2.6模型在理解单图、多图内容以及视频方面超越了GPT-4V，显示出其在多模态能力上的显著提升。- MiniCPM-V 2.6在知识压缩率方面表现出色，其多模态大模型的像素密度（Token Density）是GPT-4V的两倍，这意味着它在相同参数下能够处理更多的信息并实现更高的效率。1. 进一步提升模型的多模态理解能力：虽然MiniCPM-V2.6已经在多模态理解方面取得了突破，但随着应用场景的多样化，模型需要进一步提升对不同类型图像和视频的理解能力，以适应更复杂的应用需求。
Mac平台M1PRO芯片MiniCPM-V-2.6网页部署跑通
BothSavage
08-10 635
解决flash_attn强制依赖问题解决bfloat16在mps无法使用问题看系统占用是没走mps，添加的环境变量也可以看出Sampling瞎回答，Beam Search回答很惊喜Beam Search处理视频4秒，在m1pro下，当前代码中需要230s左右ollama部署还在研究中…
AI多模态实战教程：面壁智能MiniCPM-V多模态大模型问答交互、llama.cpp模型量化和推理
AIGCmagic的博客
07-21 1614
MiniCPM-V 2.0，这是MiniCPM系列的多模态版本。MiniCPM-V 2.0显示出强⼤的OCR和多模态理解能⼒，在开源模型中的OCRBench上表现出⾊，甚⾄在场景⽂本理解上可以与Gemini Pro相媲美。MiniCPM-V 系列是专为视觉-语⾔理解设计的多模态⼤型语⾔模型（MLLMs），提供⾼质量的⽂本输出，已发布4个版本。# 下载模型，以int4量化的MiniCPM-Llama3-V-2_5为例。# 前提，安装git和git-lfs【可选，如果已安装，则跳过】# 新建demo.py。
MiniCPM-V_2.0
m0_60657960的博客
05-02 784
大模型
MiniCPM-2B:端侧LLM优于Llama2-13B
02-06
结合提供的标签“Python”，我们可以推断，MiniCPM-2B的实现可能采用了Python作为主要编程语言，这是当前AI开发领域广泛使用的语言，拥有丰富的库支持和强大的社区资源，为模型的训练和部署提供了便利。 综上所述，...
MiniCPM-2B_端侧LLM优于Llama2-13B.zip
02-07
标题中的“MiniCPM-2B_端侧LLM优于Llama2-13B”表明这可能是一个关于自然语言处理（NLP）的研究或项目，对比了两种模型：MiniCPM-2B和Llama2-13B。MiniCPM可能是Mini版本的连续预训练模型（Continual Pre-trained ...
Llama2-使用纯C语言实现Llama2的推理-支持INT8量化-优质项目实战.zip
04-09
在当前的AI领域，模型部署是至关重要的一步，而高效的模型推理则直接影响着应用的性能和用户体验。本项目实战聚焦于“Llama2”这一模型，通过纯C语言实现其推理过程，并且支持INT8量化，以提升计算效率并降低内存...
2024年中国汽车行业AI大模型
08-12
小参数模型：MiniCPM-Llama3-V 2.5 六、大模型产业应用案例 百度文心一言：发展历程、技术架构、应用场景 华为盘古大模型：CloudMatrix 架构、ModelArts AI 开发生产线 科大讯飞星火大模型：语音交互、智能座舱、...
Firefly: 大模型训练工具，支持训练Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM
最新发布
08-19
Firefly 是一个开源的大模型训练项目，支持对主流的大模型进行预训练、指令微调和DPO，包括但不限于Qwen2、Yi-1.5、Llama3、Gemma、Qwen1.5、MiniCPM、Llama、InternLM、Baichuan、ChatGLM、Yi、Deepseek、Qwen、...
C/C++开发，opencv内置背景减除算法与运动检测
技术需要分享
08-14 1285
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
AI赋能软件测试：从自动化到智能化，让测试工作事半功倍
m0_64146991的博客
08-15 443
APP端测试，专项测试，测试工具
图像数据处理12
2301_80400361的博客
08-15 241
尽可能等于指定图像灰度值的。
24 优化算法
kaszxc的博客
08-19 174
深度学习模型大多是非凸的所以关于凸优化的很多理论无法使用小批量随机梯度下降是最常用的优化算法冲量对梯度做平滑冲量法是一个简单的稳定优化的算法Adam 对梯度做平滑，且对梯度各个维度值做重新调整通过实践发现，Adam 不一定比冲量法准确率高或者是收敛快，但是整体来讲 Adam 是比较稳定的，Adam 对学习率不那么敏感，使得调参相对来讲会更加容易一点范围之中（进行维度上的调整）分母中的 ε 的作用是保证分母不等于零。
侧地部署 MiniCPM-Llama3-V 2.5
06-06
MiniCPM-Llama3-V 2.5是一个轻量级的计算机视觉模型，它可能指的是一个用于物体检测、图像分类或其他计算机视觉任务的小型模型。"侧地部署"通常是指将这种模型部署到边缘计算设备或移动设备上，以便在本地进行处理，减少对云端的依赖，提高响应速度和数据隐私。 侧地部署流程一般包括以下几个步骤： 1. **模型优化**：由于硬件资源限制，可能需要对模型进行量化、剪枝或蒸馏等操作，减小模型大小，提高运行效率。 2. **编译与适配**：针对目标设备（如ARM处理器或嵌入式系统）进行编译，并调整模型的运算库（如TensorFlow Lite, ONNX Runtime等）以匹配硬件特性。 3. **数据预处理**：确保输入数据适合在设备本地进行处理，这可能涉及到图像格式转换和尺寸调整。 4. **性能测试**：在实际设备上测试模型的推理速度，确保满足实时性要求。 5. **集成到应用**：将模型集成到移动应用或者嵌入式软件中，用户可以直接通过设备接口调用模型进行预测。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值