weixin_36553595的博客

转载 通过vllm 部署qwen2 模型

主要是一个简单测试安装vllmpip 模式安装部分包比较大， 注意时间, 最好使用一个加速, 目前阿里云的似乎有限速了，可以试试清华的https://pypi.tuna.tsinghua.edu.cn/simple登录后复制 python -m venv venvsource venv/bin/acsource v...