在带有Intel Arc GPU的Windows上安装IPEX-LLM

在带有Intel Arc GPU的Windows上安装IPEX-LLM

本文将介绍在 Intel Arc GPU 环境下安装 IPEX-LLM。

先决条件

要使用 Intel GPU 加速，工具安装和环境准备有几个先决条件：

第 1 步：安装或更新到最新的 GPU 驱动程序。

第 2 步：安装 Visual Studio 2022 社区版并选择“使用 C++ 进行桌面开发”。

第 3 步：安装 Anaconda 以进行 Python 环境管理。

第 4 步：安装 Intel® oneAPI Base Toolkit。

本文主要介绍第 2 步和第 4 步的安装操作。

安装 GPU 驱动

从驱动程序和软件下载驱动程序。

安装 Visual Studio 2022 社区版

从Visual Studio 2022下载Visual Studio 2022 社区版安装程序，并双击安装程序开始进行安装。点击继续按钮进行下一步。

等待安装向导下载必需的Visual Studio 2022安装程序包。

所有必需的安装包都下载完成后，即将进入下一步。

在工作负荷界面，选择使用 C++ 的桌面程序开发，并确认安装详细信息、选择安装位置，默认是在 C:\\Program Files 目录下，然后点击安装按钮开始进行安装。

等待安装向导下载必需的安装包、进行安装。

所有必需的安装包都下载、安装完成后，在安装完毕提示框点击确定按钮退出安装程序。

这样，Visual Studio 2022 社区版使用 C++ 进行桌面开发就安装完成，安装完成以后建议重启一下电脑。

安装 Intel® oneAPI Base Toolkit

从Get the Intel® oneAPI Base Toolkit下载Intel® oneAPI Base Toolkit，并且双击安装程序进行文件提取及安装。首先需要指定将安装程序的文件提取到哪里，设置好路径后点击 Extract 按钮进行文件提取，即解压安装程序。

然后根据安装向导，点击 Continue 按钮继续安装。

等待安装向导准备完成。

在设置界面，勾选同意协议，并选择 Recommended Installation，然后点击 Continue 按钮开始进行安装。

如果需要自定义安装，可以在上一步选择 Custom Installation，然后在这个界面选择需要安装的组件，点击下一步进行安装。

IDE 这里会默认选择刚才安装的 Visual Studio 2022，直接点击下一步就好。

选择同意，点击 Install 按钮进行下一步。

安装完成需要重启的警告可以先不管，直接点击 Install 按钮开始安装。

等待安装程序完成所有组件的安装。

安装完成后，点击 Finish 按钮，结束程序安装。

这样，Intel® oneAPI Base Toolkit 就安装完成。

安装 IPEX-LLM

创建虚拟环境

我们需要创建一个用来安装 IPEX-LLM 的虚拟环境，Python 版本指定为 3.11。

conda create -n ipex-llm-xpu python=3.11 libuv -y
conda activate ipex-llm-xpu

pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/
pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/cn/ -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install --pre --upgrade ipex-llm[xpu] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/mtl/cn/ -i https://pypi.tuna.tsinghua.edu.cn/simple

如果在安装过程中遇到网络问题，还可以从源存档安装 Intel XPU 的 IPEX-LLM 依赖项。

首先，下载必要的 wheels。

wget https://intel-extension-for-pytorch.s3.amazonaws.com/ipex_stable/xpu/torch-2.1.0a0%2Bcxx11.abi-cp311-cp311-win_amd64.whl
wget https://intel-extension-for-pytorch.s3.amazonaws.com/ipex_stable/xpu/torchvision-0.16.0a0%2Bcxx11.abi-cp311-cp311-win_amd64.whl
wget https://intel-extension-for-pytorch.s3.amazonaws.com/ipex_stable/xpu/intel_extension_for_pytorch-2.1.10%2Bxpu-cp311-cp311-win_amd64.whl

然后执行以下命令进行安装。

pip install torch-2.1.0a0+cxx11.abi-cp311-cp311-win_amd64.whl -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torchvision-0.16.0a0+cxx11.abi-cp311-cp311-win_amd64.whl -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install intel_extension_for_pytorch-2.1.10+xpu-cp311-cp311-win_amd64.whl -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install --pre --upgrade ipex-llm[xpu]

pip install dpcpp-cpp-rt==2025.0.2 mkl-dpcpp==2025.0.0 onednn==2025.0.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

环境验证

首先，需要设置一下变量信息。

call "C:\Program Files (x86)\Intel\oneAPI\setvars.bat"

set SYCL_CACHE_PERSISTENT=1
set BIGDL_LLM_XMX_DISABLED=1

然后，可以编写代码进行验证。

import torch 
from ipex_llm.transformers import AutoModel,AutoModelForCausalLM    
tensor_1 = torch.randn(1, 1, 40, 128).to('xpu')
tensor_2 = torch.randn(1, 1, 128, 40).to('xpu')
print(torch.matmul(tensor_1, tensor_2).size())

执行代码，我们将得到如下输出：

torch.Size([1, 1, 40, 40])

并且可以看到GPU的资源利用情况。

可能遇到的问题

在环境安装过程中可能会遇到下面的问题。

OSError: [WinError 126] 找不到指定的模块。 Error loading "C:\Users\wux_l\anaconda3\envs\ipex-llm\Lib\site-packages\torch\lib\backend_with_compiler.dll" or one of its dependencies.

解决方案是安装相关的库。

conda install pkg-config libuv