vllm+llama3.1部署！

与我之前写的部署qwen2一样步骤：
vllm+qwen2部署！_vllm部署qwen2-CSDN博客

须注意的是：
启动 llama3.1_8b_instruct  需要将 transfomers 更新到最新 4.43.2 版本！

pip install --upgrade transformers

参考：最新LLM Llama3.1 を AWQ で4bit量子化して GPUサーバーに乗せて チャットできるようにした #Python - Qiita

CUDA_VISIBLE_DEVICES=0,1 python -m vllm.entrypoints.openai.api_server --model /你自己的路径/modles/llama3.1_8b_instruct  --served-model-name llama3.1_8b_instruct --max-model-len=2048 --dtype=half --tensor-parallel-size=2

成功启动！