使用 vllm 部署 MiniCPM-o 2.6

1. 创建虚拟环境

conda create -n vllm_openbmb python=3.11 -y
conda activate vllm_openbmb 

2. 克隆代码

git clone https://github.com/OpenBMB/vllm.git
cd vllm
git checkout minicpmo

3. 从代码安装 vllm

VLLM_USE_PRECOMPILED=1 pip install --editable . 

4. 安装 flash-attn

pip install flash-attn --no-build-isolation

5. 启动 MiniCPM-o 2.6

CUDA_VISIBLE_DEVICES=3,1,0,2 \
VLLM_WORKER_MULTIPROC_METHOD=spawn \ 
vllm serve openbmb/MiniCPM-o-2_6 --trust-remote-code --served-model-name gpt-4 --gpu-memory-utilization 0.98 --tensor-parallel-size 4 --port 8000 --api-key sk-123456

6. 使用 chatbox 客户端访问并测试一下

---

参考资料：

• https://github.com/OpenBMB/MiniCPM-o?tab=readme-ov-file#efficient-inference-with-llamacpp-ollama-vllm