前期准备
环境需要:Linux(这里使用kali)、Anaconda
首先安装Anaconda
前言:最好使用linux,如果使用windows可能会产生各种报错(各种各种各种!!!),最好使用Anaconda,方便独立管理虚拟机
使用conda创建虚拟机、python要求3.10
conda create -n vllm_beam python=3.10 -y
启动该虚拟机
conda activate vllm_beam
安装vllm
pip3 install https://github.com/vllm-project/vllm/releases/download/v0.6.4.post1/vllm-0.6.4.post1+cu118-cp38-abi3-manylinux1_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118 -i https://pypi.tuna.tsinghua.edu.cn/simple
在安装vllm的时候,虚拟机磁盘剩余空间最好大点,至少6个G如果不够可能会报错
No space left on device //设备上没有空间
可以找一个有足够空间的目录
然后执行命令 就可以重新安装了