Windows10部署MiniCPM

最新推荐文章于 2024-09-06 10:58:14 发布
最新推荐文章于 2024-09-06 10:58:14 发布
阅读量1.3k 收藏 13
点赞数 29
文章标签： 语言模型 ai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43881345/article/details/139458794
版权

1、系统配置

在这里插入图片描述
在这里插入图片描述

2、配置环境

2.1、创建虚拟环境

安装Anaconda，参考https://blog.csdn.net/weixin_43881345/article/details/136051556
创建一个基于python3.10的虚拟环境

conda create -n minicpm python=3.10

在这里插入图片描述

创建虚拟环境报错，根据提示删除环境变量Path中多余的引号

在这里插入图片描述

重新创建python3.10的虚拟环境，取名minicpm，并激活环境安装依赖

conda create -n minicpm python=3.10
activate minicpm
pip install Pillow==10.1.0
pip install bitsandbytes==0.43.1

2.2、下载模型

huggingface镜像站：https://hf-mirror.com/
魔塔：https://modelscope.cn/

MiniCPM-2B-sft-int4：https://modelscope.cn/models/OpenBMB/MiniCPM-2B-sft-int4/files
MiniCPM-2B-128k：https://modelscope.cn/models/openbmb/MiniCPM-2B-128k/files
MiniCPM-Llama3-V-2_5（8B）：https://modelscope.cn/models/OpenBMB/MiniCPM-Llama3-V-2_5/files
MiniCPM-Llama3-V-2_5-int4（8B）：https://modelscope.cn/models/OpenBMB/MiniCPM-Llama3-V-2_5-int4/files
MiniCPM-Llama3-V-2_5-gguf：https://modelscope.cn/models/OpenBMB/MiniCPM-Llama3-V-2_5-gguf/files

通过git方式下载

git clone https://www.modelscope.cn/OpenBMB/MiniCPM-2B-sft-int4.git
git clone https://www.modelscope.cn/openbmb/MiniCPM-2B-128k.git
git clone https://www.modelscope.cn/OpenBMB/MiniCPM-Llama3-V-2_5.git
git clone https://www.modelscope.cn/OpenBMB/MiniCPM-Llama3-V-2_5-int4.git
git clone https://www.modelscope.cn/OpenBMB/MiniCPM-Llama3-V-2_5-gguf.git

2.3、下载仓库源码

https://github.com/OpenBMB/MiniCPM-V
https://github.com/OpenBMB/MiniCPM

2.4、Anaconda虚拟环境安装依赖

cd MiniCPM-V
pip install -r requirements.txt

在这里插入图片描述

2.5、配置torch

2.5.1、查看cuda版本

#hello_world.py
import torch

# 输出带CPU，表示torch是CPU版本的，否则会是+cuxxx
print(f'torch的版本是：{torch.__version__}')
print(f'torch是否能使用cuda：{torch.cuda.is_available()}')
print(f'GPU数量：{torch.cuda.device_count()}')        # 查看GPU数量
print(f'torch方法查看CUDA版本：{torch.version.cuda}')  # torch方法查看CUDA版本

输出结果说明torch无法使用GPU（如支持GPU略过2.5、配置torch）
在这里插入图片描述
查看cuda驱动版本（安装显卡驱动后生成），本机12.4

nvidia-smi

在这里插入图片描述
查看cuda运行时版本（安装CUDA Tookit后生成），本机11.7

nvcc -V

在这里插入图片描述

2.5.2、安装支持cuda的torch

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

在这里插入图片描述
重新执行hello_world.py脚本，cuda已支持GPU
在这里插入图片描述

3、搭建MiniCPM-Llama3-V-2_5

3.1、本地WebUI Demo部署

配置模型路径
修改MiniCPM-V-main/web_demo_2.5.py，model_path 改为本地模型路径
显存较低，此处使用int4量化模型
model_path = ‘D:/model/MiniCPM-Llama3-V-2_5-int4’
在这里插入图片描述

修改完成后，启动WebUI服务

# 对于 NVIDIA GPU，请运行：
python web_demo_2.5.py --device cuda

# 对于搭载 MPS 的 Mac（Apple 芯片或 AMD GPU），请运行：
PYTORCH_ENABLE_MPS_FALLBACK=1 python web_demo_2.5.py --device mps

在这里插入图片描述

浏览器访问http://IP:8080
在这里插入图片描述
在这里插入图片描述
耗时约19.5s

3.2、API调用

创建脚本api_cpm_v2.5.py

#api_cpm_v2.5.py
import torch
import time
from PIL import Image
from transformers import AutoModel, AutoTokenizer

# 设置模型路径
model_path = 'D:/model/MiniCPM-Llama3-V-2_5-int4'

# 加载模型和分词器
model = AutoModel.from_pretrained(model_path, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model.eval()

# 设置随机种子以保证结果可复现
torch.manual_seed(0)

start_time = time.time()

image = Image.open('D:/work/svc_mini_cpm/MiniCPM-V-main/assets/airplane.jpeg').convert('RGB')
question = '图片描述了什么?'
msgs = [{'role': 'user', 'content': question}]

res = model.chat(
    image=image,
    msgs=msgs,
    tokenizer=tokenizer,
    sampling=True,
    temperature=0.7
)
end_time = time.time()
execution_time = end_time - start_time
print(res)
print("程序执行时间为：", execution_time, "秒")

成功获取结果
在这里插入图片描述

在这里插入图片描述

4、搭建MiniCPM-2B

4.1、本地WebUI Demo部署（失败）

启动WebUI服务

cd MiniCPM-main
python demo/vllm_based_demo.py --model_path D:/model/MiniCPM-2B-128k

在这里插入图片描述
安装vLLM，下载https://github.com/vllm-project/vllm

cd vllm-main
pip install -r requirements-cuda.txt

在这里插入图片描述

在这里插入图片描述
发生错误error: subprocess-exited-with-error

pip install --upgrade setuptools

4.2、API调用（失败）

创建脚本api_cpm.py

#api_cpm.py
from transformers import AutoModelForCausalLM, AutoTokenizer
import time
import torch

# 设置随机种子以保证结果可复现
torch.manual_seed(0)

path = 'D:/model/MiniCPM-2B-dpo-bf16'
# 加载tokenizer和模型
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map='cuda', trust_remote_code=True)

start_time = time.time()
responds, history = model.chat(tokenizer, "山东省最高的山是哪座山，它比黄山高还是矮？差距多少？", temperature=0.5, top_p=0.8, repetition_penalty=1.02)
end_time = time.time()
execution_time = end_time - start_time
print(responds)
print("程序执行时间为：", execution_time, "秒")

成功获得输出结果
在这里插入图片描述

当模型切换为MiniCPM-2B-sft-int4时，执行报错
在这里插入图片描述
手动安装 flash_attn，下载win编译好的flash attention，选择本机torch匹配的版本（cu121）
https://github.com/bdashore3/flash-attention/releases/tag/v2.4.1
直达下载链接：https://github.com/bdashore3/flash-attention/releases/download/v2.4.1/flash_attn-2.4.1+cu121torch2.1cxx11abiFALSE-cp310-cp310-win_amd64.whl
在这里插入图片描述

pip install D:/work/svc_mini_cpm/flash_attn-2.4.1+cu121torch2.1cxx11abiFALSE-cp310-cp310-win_amd64.whl

5、通过ollama加载模型

5.1、安装ollama

https://github.com/ollama/ollama
在这里插入图片描述
安装后执行C:\Users\用户\AppData\Local\Programs\Ollama\ollama app.exe，首次执行需下载模型
在这里插入图片描述

5.2、加载官方模型

官方模型库：https://ollama.com/library

ollama run modelbest/minicpm-2b-dpo

在这里插入图片描述
API调用
http://localhost:11434/api/generate
“stream”: false关闭流式输出
在这里插入图片描述

5.3、加载本地模型

手动创建模型配置文件
在这里插入图片描述
编辑文件内容

FROM ./MiniCPM-2B-dpo-Q4_0.gguf

在这里插入图片描述
通过PowerShell导入配置

ollama create MiniCPM-2B-dpo-Q4_0 -f MiniCPM-2B-dpo-Q4_0.mb

导入成功，运行模型
在这里插入图片描述

ollama run MiniCPM-2B-dpo-Q4_0

6、优化推理效率（失败）

下载w64devkit
https://github.com/skeeto/w64devkit/releases
在这里插入图片描述
运行w64devkit.exe，查看cmake、gcc版本
在这里插入图片描述
下载llama.cpp
https://github.com/ggerganov/llama.cpp

使用w64devkit.exe编译llama.cpp

cd d:
cd Download/models/llama.cpp-master
make

在这里插入图片描述
下载编译好的llama.cpp
https://github.com/ggerganov/llama.cpp/releases
在这里插入图片描述

老干部rye
关注
GLM-4本地部署的实战教程
herosunly的博客
06-05 13万+
本文主要介绍了GLM-4-9B本地部署的实战教程，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行glm-4-9b-chat
MiniCPM3-4B | 笔记本电脑运行端侧大模型OpenBMB/MiniCPM3-4B-GPTQ-Int4量化版 | PyCharm环境
最新发布
神奇代码在哪里
09-19 1410
2024年9月5日，面壁智能发布了MiniCPM3-4B，面壁的测试结果声称MiniCPM3-4B表现超越 Phi-3.5-mini-instruct 和 GPT-3.5-Turbo-0125，并且能够比肩 Llama3.1-8B-Instruct、Qwen2-7B-Instruct、GLM-4-9B-Chat 等多个 7B-9B 参数量的模型。实践出真知，博主觉得用自己的老手提笔记本试试，看能不能也跑个大模型装一下逼。
MiniCPM模型的简单部署
wm199的博客
02-20 4145
MiniCPM 是面壁与清华大学自然语言处理实验室共同开源的系列端侧语言大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。直接在本地运行，方便我们进一步探究该模型，接下来简单介绍一下该模型的本地部署工作安装错误```解决方案：# 模型所在目录的路径将模型目录添加到 sys.path``
MiniCPM
MrLi的博客
09-06 296
AI助手 #MiniCPM #面壁智能 #OpenBMB #开源社区 #人工智能 #自然语言处理 #问答 #理解 #生成 #学习 #进步 #友好 #耐心 #帮助 #知识 #技能 #娱乐 #放松 #互动 #提问 #回答 #聊天 #人工智能助手 #MiniCPM系列模型 #面壁智能 #OpenBMB开源社区 #GitHub。我具有强大的语言理解和生成能力，可以理解和回答各种各样的问题，从简单的定义和解释到更复杂的问题和讨论。通过与用户的互动和学习，我可以不断优化和提高自己的性能，更好地理解和回答用户的问题。
【MiniCPM-V】win10本地部署OCR等性能测试
这个博客太懒了什么都没说
05-23 1775
本地配置如下。
【MiniCPM-V】win10本地部署踩坑
这个博客太懒了什么都没说
05-21 1248
OpenBMB/MiniCPM-V模型尝试
本地部署 MiniCPM-Llama3-V 2.5
engchina的专栏
05-27 6083
本地部署 MiniCPM-Llama3-V 2.5
WINDOWS 10 部署教程大全
07-24
WINDOWS 10 部署教程大全。搭建Windows Deployment Service
Windows 10部署（FFU）
大呆_的博客
11-27 2815
WIM 、VHD、FFU格式比较 比较WIM、VHD、VHDX和FFU:所有用于将 Windows 部署到新设备这些文件格式。下面是它们之间的比较： Windows 映像 (WIM) 虚拟硬盘 (VHD/VHDX) 完整 Flash 更新 (FFU) 常见用途 用于测试和修改 Windows 映像最快。 可以在同一个存储多个映像变体。WIM 文...
windows10安装Docker部署Jar包并更新Jar包部署详解
pengmengyang的博客
04-09 2664
windows10安装Docker部署Jar包并更新Jar包部署 文章目录windows10安装Docker部署Jar包并更新Jar包部署步骤一、生成Dockerfile文件二、编辑Dockerfile文件三、构建镜像四、创建容器 步骤 一、生成Dockerfile文件 生成Dockerfile文件查看文档：windows10安装Docker部署Jar包 二、编辑Dockerfile文件 挂在容器地址：D:\usr\local\webapps\demo-0.0.1-SNAPSHOT.jar # 开始下载的
[大模型]MiniCPM-2B-chat FastApi 部署调用
FL1623863129的博客
04-17 923
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。经过 SFT 后，MiniCPM 在公开综合性评测集上，MiniCPM 与 Mistral-7B相近（中文、数学、代码能力更优），整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。
MiniCPM-V 2.6 本地快速部署使用
VC_Alexa的博客
08-15 1600
部署教程很多，但是感觉不够直接，小白的我就是拿来就用的，所以写个最最最直接的。
Unity MiniCPM-V 让引擎拥有视觉
SlowFeather's blog
06-02 549
新发布的MiniCPM-V，忍不住玩一下，可以让之前制作的语音助手拥有一定的视觉能力（不是OpenCV不行，而是AI更加符合一个助手所需要的观察力）。这个简单的小项目中我只实现了少量交互代码，大部分全部由完成，可以在文末链接查看对话记录。这也是未来趋势，提前适应一下。
如何安装一个comfyui插件？ComfyUI_MiniCPM-V-2_6-int4为例
shadowcz007的博客
08-22 889
‍‍#### 确认插件 requirements 里的依赖包都已经安装成功Ensure all dependencies listed in the plugin requirements are successfully installed.#### 启动 ComfyUI 时的报错信息When starting ComfyUI via cmd, you may encounter error m...
效果媲美GPT4V的多模态大型语言模型MiniCPM-V-2_6详细介绍
全世界的博客
08-29 1427
是由nuoan开发的一款达到GPT-4V级别的多模态大型语言模型（MLLM）。该模型专为手机上的单图像、多图像和视频处理设计，旨在提供高效、准确的多模态内容理解与生成能力。随着移动设备的普及和计算能力的提升，用户对于在移动端进行复杂图像和视频处理的需求日益增长。MiniCPM-V-2.6的推出，正是为了满足这一需求，提供了一种在移动设备上实现高性能多模态处理的解决方案。模型可以对长视频进行快速的内容摘要，提取出视频中的关键信息和重要片段。
LLMs之MiniCPM：MiniCPM(揭示端侧大语言模型的无限潜力)的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-27 3238
​ LLMs之MiniCPM：MiniCPM(揭示端侧大语言模型的无限潜力)的简介、安装和使用方法、案例应用之详细攻略 目录 MiniCPM的简介 MiniCPM的安装和使用方法 MiniCPM的案例应用 MiniCPM的简介 MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量, 总计2.7B参数量。 经过 SFT 后，Mi
超越GPT4V，最强多模态MiniCPM-V2.6模型分享
m0_71062934的博客
08-26 991
MiniCPM-V2.6是由面壁智能开发的一款强大的端侧多模态人工智能模型，它被设计用于处理和理解多种类型的数据，如文本、图像和视频。 MiniCPM-V 2.6模型以其卓越的token密度（即每个视觉token编码的像素数量）表现出色，处理180万像素图像时仅产生640个token，比大多数模型少75%。 MiniCPM-V2.6在端侧性能上全面对标GPT-4V，这是OpenAI的多模态模型之一，意味着在单图、多图和视频理解等方面，MiniCPM-V2.6能够达到与GPT-4V相媲美的水平。 尽管性能强大
清华系2B模型杀出，性能吊打LLaMA-13B
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
02-04 1762
2 月 1 日，面壁智能与清华大学自然语言处理实验室共同开源了系列端侧语言大模型 MiniCPM，主体语言模型 MiniCPM-2B 仅有 24 亿（2.4B）的非词嵌入参数量。在综合性榜单上与 Mistral-7B 相近，在中文、数学、代码能力表现更优，整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值