Windows安装DeepSpeed

问题描述

DeepSpeed 是一款微软推出的深度学习优化库，它使分布式训练和推理变得简单高效。

解决方案

需要提前安装：

• PyTorch，版本最好 >= 1.9
• CUDA 或 ROCm 编译器，如 nvcc 或 hipcc
• 安装 Visual Studio，如 2019

自行编译

python setup.py bdist_wheel

进入 dist 文件夹安装该 wheel

pip install xxx

AssertionError: Unable to pre-compile async_io

修改 setup.py

BUILD_OP_PLATFORM = 1 if sys.platform == "win32" else 0

为

BUILD_OP_PLATFORM = 0

参考文献

1. DeepSpeed GitHub
2. Win10安装DeepSpeed