linux下安装deepspeed

最新推荐文章于 2025-02-21 03:24:57 发布
最新推荐文章于 2025-02-21 03:24:57 发布
阅读量4.1k 收藏 7
点赞数 10
文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_55736201/article/details/138294216
版权
本文介绍了在Windows环境下安装DeepSpeed时遇到的cuDNN库缺失问题，提供了解决方案，包括使用gitclone下载库、激活环境并执行特定安装脚本，以及加载NVIDIAcuDNN环境变量的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

安装步骤

一开始安装deepspeed不可以使用pip直接进行安装。

这时我们需要利用git进行clone下载到本地：

git clone https://github.com/microsoft/DeepSpeed.git

进入到deepspeed的安装目录下

cd /home/bingxing2/ailab/group/ai4agr/wzf/Tools/DeepSpeed

激活你的环境

source activate myenv

安装deepspeed

bash install.sh

 可能的报错

 1.

报错原因：缺少了 libcudnn.so.8 共享库文件，这是由于缺少 NVIDIA cuDNN 库的原因导致的。

解决办法：安装pytorch 1.13.1+cu116_cp38 后没有加载环境

#加载环境
source /home/bingxing2/apps/package/pytorch/1.13.1+cu116_cp38/env.sh

 

参考：windows安装python库 DeepSpeed常见问题_deepspeed安装-CSDN博客

deepspeed win11 安装
jacke121的专栏
06-22 1540
deepspeed win11 安装
deepspeed-0.14.3-py3-none-any.whl
02-07
深度学习优化库,linux与windows编译安装有概率失败
linux 虚拟环境下源码安装DeepSpeed
醉意流年go的博客
10-12 1151
上述中TORCH_CUDA_ARCH_LIST="8.9"代表着使用的cuda版本，需要根据实际情况设置。可能遇到的问题：error: can't find Rust compiler。最后安装成功， 安装成功后可以通过ds_report来查看对应的安装报告。如果需要使用 CPU Offload 优化器参数，设置参数。第二步：进入虚拟环境，安装Pytorch 2.3.1。如果需要使用 NVMe Offload，设置参数。第四步：克隆deepspeed仓库。第五步：安装DeepSpeed。
linux服务器部署deepseek
最新发布
2302_80252080的博客
02-21 4393
发现奇迹，无论你在哪里
[deepspeed]deepspeed安装和测试代码
FL1623863129的博客
12-24 4723
deepspeed官方对linux系统支持非常好，安装流程较为简单，推荐使用linux系统使用deepspeed.deepspeed由于要使用大模型进行训练和推理，建议显存>=24GB。因此只能适合简单学习，本人使用deepspeed是0.12.7版本进行源码编译，测试发现deepspeed-mii无法正常使用，但是有些模型是可以用的，下面代码测试通过。
安装deepspeed
m0_45924886的博客
01-17 5万+
当然了也要求安装cpp构建工具，比较麻烦，直接pip又会出错。
DeepSpeed 安装
ccccc111sss的博客
04-14 1万+
如果全部的都显示OKAY证明安装成功。如果有几个是NO的话那证明这几个文件安装失败，根据对应的WARNING在安装对应即可。例如我安装时sparse_attn显示NO，我就根据WARNING的提示输入。首先克隆github中的DeepSpeed文件。虚拟环境Python版本建议安装3.8版本。文件下载完毕后进入DeepSpeed文件夹。发现 sparse_attn变成了OKey。进入DeepSpeed文件夹后。
Ubuntu 安装 deepspeed
q_q王的博客
03-05 1843
Ubuntu 安装 deepspeed
DeepSpeed 安装和配置指南
热门推荐
gitblog_09659的博客
09-13 5万+
DeepSpeed 安装和配置指南 DeepSpeed DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective. ...
linux安装deepspeed
02-09
### 如何在Linux操作系统中安装配置Deepspeed深度学习优化库 #### 准备工作 为了确保顺利安装 Deepspeed，在 Linux 系统上需先完成 Python 和 PyTorch 的环境搭建。推荐通过 Anaconda 或 Miniconda 来管理依赖关系...
windows下安装deepspeed
02-17
source deepspeed_env/bin/activate # Linux/MacOS deepspeed_env\Scripts\activate # Windows ``` #### 更新pip至最新版 更新`pip`以获得最佳体验和支持更多包源。 ```bash python -m pip install --upgrade pip `...
Python库 | deepspeed-0.3.1.dev6.tar.gz
04-07
资源分类：Python库 所属语言：Python 资源全名：deepspeed-0.3.1.dev6.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
linux服务器虚拟环境安装deepspeed
12-30
### 创建Python虚拟环境 为了在Linux服务器上创建用于深度学习的Python虚拟环境，可以采用`conda`工具...完成这些步骤后，就能够在Linux服务器上的这个专门设计好的虚拟环境中运行基于DeepSpeed框架开发的应用程序了。
在Linux系统中安装deepspeed使用cpu加速
11-19
在Linux系统中使用CPU来安装并配置DeepSpeed库以加速深度学习训练通常需要几个步骤： 1. **环境准备**： - 首先，确保你的系统上已经安装了Python、pip以及必要的依赖项，如NumPy和torch。可以运行`python --...
【经验总结】Ubuntu 源代码方式安装 Microsoft DeepSpeed
weixin_40378209的博客
04-24 2410
Ubuntu 源代码方式安装 Microsoft DeepSpeed
随笔deepspeed安装
温辉的博客
04-09 2292
DeepSpeed是由Microsoft基于PyTorch研发的开源深度学习优化库，虽然是微软开发，但是实际对Windows支持并不好，本文主要解决windows安装遇到问题的解决方案。需要去库中找到util.py和stage2.py这两个文件，将引用inf的代码from torch._six import inf改成from torch import inf。查阅文档发现事情torch 老早版本就去除_six这个类，发现实际要引入inf。3.修改成新引用方法。
win11安装DeepSpeed0.7.2
YiHaohan的博客
12-15 4522
复制文件地址，使用pip install D:\Users\86158\Desktop\DeepSpeed-0.7.2\DeepSpeed-0.7.2\dist\deepspeed-0.7.2+unknown-py3-none-any.whl 即可安装。文件地址为 D:\Users\86158\Desktop\DeepSpeed-0.7.2\DeepSpeed-0.7.2\dist。设置好后运行即可编译，编译完成后在dist文件夹下会生成一个wheel文件。添加环境变量，修改形参。点击运行中的编辑配置。
Win10安装DeepSpeed 实测成功
weixin_46587777的博客
04-18 9345
在 Windows 上构建 DeepSpeed 可能会遇到各种兼容性问题，因为 DeepSpeed 主要是为 Linux 环境设计的。而且，在 Windows 上安装 DeepSpeed 也相对较为复杂。默认已经安装python（版本>=3.7，我安装的是python 3.9)，安装。这个报错，找了很多答案，没有完美解决，我在设置了报错1后自动就没有了这个报错，下载完成后，打开并将其中的文件解压到CUDA安装目录对应的文件夹下。的模块，这通常是 DeepSpeed 所需的一个依赖项。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值