vllm部署记录

1. pip安装

pip install vllm

下载模型在huggingface.co

注意在modelscope上的这个opt-125m好像不行了，我git不下来报错

启动服务

vllm serve opt-125m --model opt-125m --port 8888

第一个opt-125m是名字，可以在vllm支持的模型中查到，第二个是模型存放文件夹及其路径
也可以

python -m vllm.entrypoints.openai.api_server --model=opt-125m --port 8888

客户端

curl http://localhost:8888/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "opt-125m",
        "prompt": "San Francisco is a",
        "max_tokens": 7,
        "temperature": 0
    }'

或者从

git clone https://www.modelscope.cn/OpenBMB/miniCPM-bf16.git

然后启动

python -m vllm.entrypoints.openai.api_server --model=miniCPM-bf16 --port 8888 --trust-remote-code

客户端

curl http://localhos