Centos7环境下成功安装DeepSpeed包

nfkjdx

已于 2024-03-18 18:40:49 修改

阅读量638

点赞数 8

文章标签： linux pytorch 语言模型

于 2024-03-18 18:39:58 首次发布

本文链接：https://blog.csdn.net/nfkjdx/article/details/136812598

版权

1、首先激活虚拟环境和克隆github中的DeepSpeed文件

source activate  /home/Zeroad/Envs/Lora  # /home/Zeroad/Envs/Lora为虚拟环境路径
git clone https://github.com/microsoft/DeepSpeed.git

在这里插入图片描述

2、文件下载完毕后进入DeepSpeed文件夹

cd DeepSpeed

在这里插入图片描述

3、进入DeepSpeed文件夹后运行install.sh文件

bash install.sh

但是在运行过程中出现报错：
在这里插入图片描述

此时运行以下命令解决该错误：

conda install -c nvidia cuda-compiler

在这里插入图片描述

4、再次运行install.sh文件

bash install.sh

在这里插入图片描述

5、验证是否正确安装

pip list

在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

nfkjdx

关注关注

8
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

DeepSpeed 搭建碰到的问题

牧草青园

04-17

6316

找了GPT来帮助，仅提示了需要安装libaio。Windows 系统来做一些前沿开发，估计连微软自家的孩子们也都鄙视，在Win 11下搭建Deepspeed 环境，遇到。

安装deepspeed

m0_45924886的博客

01-17

8568

当然了也要求安装cpp构建工具，比较麻烦，直接pip又会出错。

参与评论您还未登录，请先登录后发表或查看评论

Anaconda：Windows下Accelerate+DeepSpeed安装（超详细版本）

最新发布

qq_48026420的博客

09-25

3067

Windows环境下安装Accelerate和DeepSpeed的方法和遇到的问题以及解决方法

DeepSpeed 安装

ccccc111sss的博客

04-14

9176

如果全部的都显示OKAY证明安装成功。如果有几个是NO的话那证明这几个文件安装失败，根据对应的WARNING在安装对应即可。例如我安装时sparse_attn显示NO，我就根据WARNING的提示输入。首先克隆github中的DeepSpeed文件。虚拟环境Python版本建议安装3.8版本。文件下载完毕后进入DeepSpeed文件夹。发现 sparse_attn变成了OKey。进入DeepSpeed文件夹后。

Win10安装DeepSpeed 实测成功

weixin_46587777的博客

04-18

5537

在 Windows 上构建 DeepSpeed 可能会遇到各种兼容性问题，因为 DeepSpeed 主要是为 Linux 环境设计的。而且，在 Windows 上安装 DeepSpeed 也相对较为复杂。默认已经安装python（版本>=3.7，我安装的是python 3.9)，安装。这个报错，找了很多答案，没有完美解决，我在设置了报错1后自动就没有了这个报错，下载完成后，打开并将其中的文件解压到CUDA安装目录对应的文件夹下。的模块，这通常是 DeepSpeed 所需的一个依赖项。

DeepSpeed 安装和配置指南

gitblog_09659的博客

09-13

635

DeepSpeed 安装和配置指南 DeepSpeed DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective. ...

Centos7环境下，在Docker中安装MySQL

OwenDom的博客

02-27

2433

检查Docker版本 docker --version 确保Docker启动 systemctl start docker 查看可用的 MySQL 版本 docker search mysql 拉取最新版MySQL镜像（如果要安装指定版本将latest换成版本号即可） docker pull mysql:latest 查看已下载的镜像 docker image ls 或者 docker images 运行容器参数说明： • -p 3306:3306 ：映射容器服务的 3306 端口到宿

centos7查询mysql的安装路径_CentOS系统怎么查看软件安装路径、环境变量（资源）...

weixin_36389909的博客

01-19

3170

Linux系统一般都是命令行界面，对于安装的软件也是通过命令安装的。对于软件包更新和卸载等有时候需要查看检查是否有改软件，软件安装存储的路径对于修改配置文件等是必要的。1、通过rpm查看查看软件是否安装。首先我们需要查看软件是否已经安装，或者说查看安装的软件包名称。如查找是否安装mysql 2、接着根据rpm-ql列出软件包安装的文件 3、综合上述以上的问题，可以直接使用rpm-qal...

Centos 7 / Linux下安装jdk1.8并配置环境变量的教程

Ultrman_Tiga的博客

11-24

5558

如果你是MobaXterm终端工具，我们只需要把压缩包直接拖到/usr/local/目录下进行解压缩即可，如果你不是MobaXterm终端工具请上网搜索怎么放到文件里。小编这里已经解压缩完了（底下放的是tar文件解压缩命令，如若不行，换个上网搜索另一个解压缩命令就行，只要解压成功就可以跟着下一步进行操作了）到此，环境变量配置完成，可以在任意目录使用jdk相关命令了，可以用以下命令来判断你的jdk安装成功没或者安装版本是多少。切记，jdk安装路径一定不要照抄图片，要根据自己虚拟机jdk的安装根目录写！

CentOS 7环境下安装Oracle 19c数据库

工作手记

01-16

1万+

目录前言准备工作安装CentOS7下载Oracle 19c安装Oracle建立用户创建目录并赋权上传并解压安装包安装过程第1步。配置选项第2步。选择数据库安装选项第3步。选择数据库版本第4步。指定安装位置第5步。产品清单目录第6步。设置操作系统组。第7步。配置root执行脚本。第8步。先决条件检查。第9步。正式安装前显示安装概要。第10步。安装产品。第11步。安装完成。前言最近项目需要使用Oracle数据库，过去长期都是使用的11g版本。本次想与时俱进尝试一下新版本，打开Oracle官网吓一跳。感觉12

VMware 安装 Centos7（超详细教程）

热门推荐

学海无涯的博客

06-08

10万+

VMware安装CentOS很简单？？？

Python库 | deepspeed-0.3.1.dev6.tar.gz

04-07

资源分类：Python库所属语言：Python 资源全名：deepspeed-0.3.1.dev6.tar.gz 资源来源：官方安装方法：https://lanzao.blog.csdn.net/article/details/101784059

DeepSpeed：DeepSpeed是一个深度学习优化库，可让分布式培训变得轻松，高效，有效

02-04

是一个深度学习优化库，可让分布式培训变得轻松，高效和有效。 10倍大型号训练速度提高10倍最小的代码更改 DeepSpeed为所有人提供了极端规模的模型培训，从在大型超级计算机上进行数据科学家培训到在低端群集甚至在单个GPU上进行培训的人员：极高的规模：使用当前拥有数百个设备的GPU集群，DeepSpeed的3D并行性可以有效地训练具有数万亿参数的深度学习模型。极高的内存效率：DeepSpeed的ZeRO-Offload仅需一个GPU，即可训练具有超过10B参数的模型，比现有技术大10倍，使数十亿参数的模型训练民主化，从而使许多深度学习科学家可以探索更大更好的模型楷模。极长的

【经验总结】Ubuntu 源代码方式安装 Microsoft DeepSpeed

weixin_40378209的博客

04-24

1464

Ubuntu 源代码方式安装 Microsoft DeepSpeed

linux下安装deepspeed

qq_55736201的博客

04-28

1627

一开始安装deepspeed不可以使用pip直接进行安装。这时我们需要利用进入到deepspeed的安装目录下激活你的环境安装deepspeed。

deepspeed win11 安装

jacke121的专栏

06-22

681

deepspeed win11 安装

Python｜Windows 安装 DeepSpeed 安装方法及报错 Unable to pre-compile async_io 处理

长行

06-19

7819

下时，发现路径已存在。查看这 3 个文件，发现其中 Linux 中使用的重定向文件。但是，这里的用法时错误的，无法覆盖文件，且路径也是错误的。PowerShell 可以通过 Win + r 搜索 powershell 启动。安装，会触发如下报错信息。出现后，需使用如下方法完成安装。脚本编译，其中在配置环境变量后，也是通过。不会实现覆盖，所以需要手动删除掉。观察报错信息，可以看到是。可以看到，这三行尝试将。

AI：DeepSpeed Chat(一款帮用户训练自己模型的工具且简单/低成本/快 RLHF 训练类ChatGPT高质量大模型)的简介、安装、使用方法之详细攻略

近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…

04-15

9686

AI：DeepSpeed Chat(一款帮用户训练自己模型的工具且简单/低成本/快 RLHF 训练类ChatGPT高质量大模型)的简介、安装、使用方法之详细攻略目录 DeepSpeed Chat的简介 DeepSpeed Chat的安装和使用方法 DeepSpeed Chat的使用方法 DeepSpeed Chat的简介 DeepSpeed-Chat的产生背景 ChatGPT 之类的模型席卷了 AI 世界，可以毫不夸张地说它对数字世界的影响是革命性的。这些模

如何在window10安装DeepSpeed chat（补充编译报错C2398部分）

feking2的博客

04-14

1万+

如何在windows10安装DeepSpeed Chat。首先通过git下载deepspeed。然后打开里面的README.md搜索里面的 ## Requiremenets，

CentOS7环境下Docker脱机安装全套解决方案

在这个资源摘要中，将会详细讲解在脱机环境下，如何在CentOS 7系统中安装Docker以及Docker Compose。由于该环境不连接至互联网，因此无法直接从互联网下载所需的软件包。因此，资源包提供了完整的rpm安装包以及必要...