告别WSL！Windows直装Unsloth大模型微调全攻略：5分钟实现零配置部署

大模型教程

于 2025-03-09 17:15:08 发布

阅读量982

点赞数 6

文章标签： windows 大模型教程人工智能大模型学习 AI大模型大模型大模型微调

本文链接：https://blog.csdn.net/2401_84204207/article/details/146135142

版权

Unsloth 现在可以在 Windows 上运行！🦥

无需 Linux 或 WSL，即可在 Windows 上本地微调 LLM。

注意现在不支持 Python 3.13，推荐使用 3.12、3.11 或 3.10。

1. 安装 NVIDIA 驱动程序

直接安装最新版本的 GPU 驱动程序。

https://www.nvidia.com/Download/index.aspx

2. 安装 Visual Studio C++

默认情况下，C++ 不会随 Visual Studio 一起安装，因此请确保选择所有 C++ 选项。还要选择适用于 Windows 10/11 SDK 的选项。

Visual Studio 社区版下载地址：

https://visualstudio.microsoft.com/vs/community/

在安装程序中，导航到各个组件并选择此处列出的所有选项：

.NET Framework 4.8 SDK
.NET Framework 4.7.2 目标包
C# 和 Visual Basic Roslyn 编译器
MSBuild
MSVC v143 - VS 2022 C++ x64/x86 构建工具
C++ 2022 可再发行更新
适用于 Windows 的 C++ CMake 工具
C++/CLI 支持 v143 构建工具（最新）
MSBuild 支持 LLVM (clang-cl) 工具集
适用于 Windows 的 C++ Clang 编译器 (19.1.1)
Windows 11 SDK (10.0.22621.0)
Windows 通用 CRT SDK
C++ 2022 可再发行 MSM

或者你可以按 Win + R 快捷键搜索 PowerShell，回车打开 PowerShell：

将下面的指令粘贴到 PowerShell 并运行（–installPath 填你的 Visual Studio 安装路径）：

"C:\Program Files (x86)\Microsoft Visual Studio\Installer\vs_installer.exe" modify ^``--installPath "C:\Program Files\Microsoft Visual Studio\2022\Community" ^``--add Microsoft.Net.Component.4.8.SDK ^``--add Microsoft.Net.Component.4.7.2.TargetingPack ^``--add Microsoft.VisualStudio.Component.Roslyn.Compiler ^``--add Microsoft.Component.MSBuild ^``--add Microsoft.VisualStudio.Component.VC.Tools.x86.x64 ^``--add Microsoft.VisualStudio.Component.VC.Redist.14.Latest ^``--add Microsoft.VisualStudio.Component.VC.CMake.Project ^``--add Microsoft.VisualStudio.Component.VC.CLI.Support ^``--add Microsoft.VisualStudio.Component.VC.Llvm.Clang ^``--add Microsoft.VisualStudio.ComponentGroup.ClangCL ^``--add Microsoft.VisualStudio.Component.Windows11SDK.22621 ^``--add Microsoft.VisualStudio.Component.Windows10SDK.19041 ^``--add Microsoft.VisualStudio.Component.UniversalCRT.SDK ^``--add Microsoft.VisualStudio.Component.VC.Redist.MSM

3. 安装 Python 和 CUDA 工具包

按照说明安装 CUDA 工具包：

https://developer.nvidia.com/cuda-toolkit-archive

然后在此处安装 Miniconda：

https://www.anaconda.com/docs/getting-started/miniconda/install

4. 安装 PyTorch

安装 CUDA 驱动程序兼容的正确版本的 PyTorch：

https://pytorch.org/get-started/locally/

5. 安装 Unsloth

pip install "unsloth[windows] @ git+https://github.com/unslothai/unsloth.git"

如果你正在使用 GRPO 或计划使用 vLLM，目前 vLLM 不直接支持 Windows，而仅通过 WSL 或 Linux 支持。

注意

要在 Windows 上直接运行 Unsloth：

从下面的 Windows 分支安装 Triton 并按照此处的说明操作（请注意，Windows 分支需要 PyTorch >= 2.4 和 CUDA 12）

https://github.com/woct0rdho/triton-windows
在 SFTTrainer 中，设置 dataset_num_proc=1 以避免崩溃问题：

trainer = SFTTrainer(``dataset_num_proc=1,``...``)

如果你在安装过程中看到奇怪的错误：

安装 torch 和 triton。转到 https://pytorch.org 进行安装。例如 pip install torch torchvision torchaudio triton
确认 CUDA 是否安装正确。尝试 nvcc。如果失败，则需要安装 cudatoolkit 或 CUDA 驱动程序。
手动安装 xformers。你可以尝试安装 vllm 并查看 vllm 是否成功。使用 python -m xformers.info 检查 xformers 是否成功转到 https://github.com/facebookresearch/xformers。另一个选择是为 Ampere GPU 安装 flash-attn。
仔细检查你的 Python、CUDA、CUDNN、torch、triton 和 xformers 版本是否相互兼容。PyTorch 兼容性矩阵可能会有用。
最后，安装 bitsandbytes 并使用 python -m bitsandbytes 检查。

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述