fastchat vllm qwen2.5推理部署

沐霜枫叶

已于 2024-12-26 11:06:55 修改

阅读量339

点赞数 3

文章标签： llm

于 2024-12-23 17:46:03 首次发布

本文链接：https://blog.csdn.net/ainizfb/article/details/144674105

版权

fastchat 推理部署

nohup python3 -m fastchat.serve.controller >/dev/null 2>&1 &

CUDA_VISIBLE_DEVICES=2,3 nohup python3 -m fastchat.serve.model_worker --model-path /home/ai4090/model/Qwen1.5-14B-Chat --controller http://localhost:21001 --port 31001 --model-names Qwen-14B-Chat