在 Windows 10 中通过 WSL2 安装 vLLM 部署本地大模型的方法和步骤

VibeCoding·九月创作之星挑战赛 10w+人浏览 2k人参与

在 Windows 10 中通过 WSL2 安装 vLLM 部署本地大模型,需完成 WSL2 配置、GPU 加速启用、依赖安装、模型部署 四个核心环节,具体步骤如下:

一、前置条件(必须满足)

  1. 硬件要求

    • GPU:NVIDIA 显卡(支持 CUDA Compute Capability ≥ 7.0,如 RTX 2080 及以上,推荐 RTX 3090/4090 或专业卡),显存 ≥ 10GB(7B 模型)/24GB(13B 模型)/40GB(32B 模型,量化后可降低需求)。
    • CPU:≥ 8 核(推荐 12 核以上),内存 ≥ 16GB(32GB 以上更佳,避免模型加载时内存溢出)。
    • 硬盘:预留 ≥ 100GB 空间(模型文件 + 系统 + 依赖)。
  2. 软件要求

    • Windows 10 版本 ≥ 21H2(通过「设置 → 系统 → 关于」查看,低于此版本需升级)。
    • 已安装 NVIDIA 显卡驱动(Windows 端,版本 ≥ 510.06,推荐 530+,支持 WSL2 GPU 加速)。

二、步骤 1:启用并配置 WSL2

1. 启用 WSL2 相关功能

以 管理员身份 打开 PowerShell,执行以下命令启用 WSL、虚拟机平台和 Linux 子系统:

# 启用 WSL 功能
dism.exe /online /enable-feature /featurename:Microsoft-Hyper-V /all /norestart
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

执行后 重启电脑 使功能生效。

2. 安装 WSL2 内核更新包

下载并安装 WSL2 内核更新包(适用于 x64 系统),安装完成后设置 WSL2 为默认版本:

wsl --set-default-version 2
3. 安装 Ubuntu 发行版

打开 Microsoft Store,搜索并安装 Ubuntu 22.04 LTS(推荐,兼容性最佳)。安装完成后,首次启动会提示设置用户名和密码(记录此密码,sudo 操作需用)。

4. 验证 WSL2 版本

在 PowerShell 中执行:

wsl --list --verbose
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

人工智能训练师

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值