Windows离线部署vllm

1、安装WSL2步骤

1.为Linux启用子系统

检查windows功能是否开启了 适用于 Liunx 的 Windows 子系统 的设置（如果未开启，开启之后需要重启电脑）

cmd命令 wsl -l -v 检查管理适用于 Liunx 的 Windows 子系统的分发，如果没有分发版的则执行：

1、wsl -l -v

2、

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

重启电脑（注意：需要开启 适用于 Liunx 的 Windows 子系统 的设置 才重新启动计算机 如果已开启，则不需要）

2.检查WSL2的要求

(对于64位系统，版本1903或更高，版本18362或更高。

对于ARM64系统：版本2004或更高，版本19041或更高。)

检查电脑版本 ：win+r 在搜索框输入 winver 查看当前版本 19044比1903高符合要求

查看电脑是否开启开发人员模式

3.启用虚拟机功能

dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

4.安装Linux内核更新包

下载地址：https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi双击安装

5.将WSL2设置为默认版本

wsl --set-default-version 2

6.安装选择的Linux发行版

进入https://docs.microsoft.com/en-us/windows/wsl/install-manual选择合适的系统安装包，这里选择ubuntu22.04

由于这个包比较大，在浏览器里点击下载链接右键，提取下载地址，打开迅雷或者其他第三方下载工具，新建下载任务，由于迅雷有国内的CDN加速，一般下载可以跑满带宽。原来需要8个小时的任务，现在几分钟就好了。

下载完成后，双击安装完成。一般第一次进入Ubuntu系统，需要设置用户名，密码等。安装系统提示操作即可。

7.安装成功

在cmd命令界面查看是否安装成功，出现跟截图一样，则已成功

• root用户修改密码

cmd窗口使用：

wsl --user root

命令登录root用户，使用

passwd root

命令修改root用户密码

2、vllm安装

1.Anaconda3安装

进入wsl2终端Anaconda3安装包的目录下本文以D盘为例：

cd /mnt/d

bash Anaconda3-2024.06-1-Linux-x86_64.sh

即可开始安装。安装过程一路回车输入yes即可，注最后一步建议输yes，会将conda环境变量写入~/.bashrc文件中。

anaconda3下载地址

安装完成使用命令：

conda -V

查看

如果环境变量未生效，按照下面方法执行：

vim  ~/.bashrc

在最后一行添加下面命令

export PATH=$PATH:/path/to/anaconda3/bin

替换/path/to/anaconda3为您的实际安装路径。之后，运行

source  ~/.bashrc

来更新环境变量。

2.激活python虚拟环境

将准备好的环境压缩vllm.tar.gz文件解压至anaconda安装路径的envs路径下进行解压。

tar -xzvf vllm.tar.gz -C vllm

解压完成后使用

conda activate vllm

检查环境是否迁移成功