Windows下安装DeepSpeed

部署环境

• Windows 11 64 bits
• Visual Studio 2022
• CUDA v11.8
• Python 3.10
• PyTorch 2.0.0+cu118

下载DeepSpeed

git clone https://github.com/microsoft/DeepSpeed.git

需要修改的文件

DeepSpeed\setup.py

*** 添加以下三行环境变量

os.environ['DISTUTILS_USE_SDK']='1'
os.environ['DS_BUILD_AIO']='0'
os.environ['DS_BUILD_SPARSE_ATTN']='0'

 

DeepSpeed\csrc\quantization\pt_binding.cpp

*** 修改类型 std::vector<long int> 为 std::vector<long long>

 

DeepSpeed\csrc\transformer\inference\csrc\pt_binding.cpp


*** 参数需要加上 static_cast<int64_t>(...)

安装DeepSpeed

1. 用管理员权限打开“x64 Native Tools Command Prompt for VS 2022”
2. （如果使用了任何一款conda）激活Python环境。比如Anaconda3，就运行C:\ProgramData\anaconda3\Scripts\activate.bat
3. 进入DeepSpeed的文件夹，运行build_win.bat。
4. Build成功后，卸载旧deepspeed然后安装dist下面的deepspeed*.whl。

   pip uninstall -y deepspeed
   pip install "dist\deepspeed-*.whl"