解决AttributeError: ‘DeepSpeedCPUAdam‘ object has no attribute ‘ds_opt_adam‘

最新推荐文章于 2024-10-02 13:00:16 发布
最新推荐文章于 2024-10-02 13:00:16 发布
阅读量3.6k 收藏 8
点赞数 5
文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/allanjie/article/details/135729501
版权
文章讲述了在使用PyTorch时遇到的问题，由于不同CUDA版本（如11.7和11.6）及Docker中可能存在的不一致，解决方案是将PyTorch降到11.6版本，并确保所有相关工具（nvidia-smi和DockerCUDA版本）同步.
摘要由CSDN通过智能技术生成

解决方法

我这边最终的解决方案就是 发现PyTorch 的CUDA版本，以及自己装的cuda 版本不一致

我pytorch 11.7改成 11.6就好了。

这里大家需要make sure

  1. pytorch cuda
  2. nvidia-smi 里面显示的版本
  3. nvcc 显示的版本
  4. 如果你用docker，docker的cuda版本

这些都需要一致。我里面当时有的11.7, 有的11.6 就出问题了。

Allan Jie
关注
AttributeError: ‘module‘ object has no attribute ‘RAW_OPT‘解决方案
weixin_43178406的博客
12-19 5万+
 本文主要介绍了AttributeError: ‘module’ object has no attribute 'RAW_OPT’解决方案，希望能对使用gazebo_ros_pkgs的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
AttributeError: ‘BaichuanTokenizer‘ object has no attribute ‘sp_model‘解决方案
weixin_43178406的博客
11-22 6万+
本文主要介绍了AttributeError: ‘BaichuanTokenizer’ object has no attribute 'sp_model’解决方案，希望能对学习python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Deepspeed报错解决：Error building extension ‘cpu_adam‘，AttributeError: ‘DeepSpeedCPUAdam‘ object has no a
weixin_43013480的博客
07-07 1174
碰到上面的报错也查了很多资料，但是都没有很好的解决，主要问题还是torch和deepspeed版本的问题。使用huggingface和deepspeed时遇到上述问题。
deepspeed使用zero3 + offload报错:AttributeError: ‘DeepSpeedCPUAdam‘ object has no attribute ‘ds_opt_adam
qq_44193969的博客
03-26 5408
说是系统cuda和torch的cuda版本不匹配，我们直接改成不检查cuda版本。3、修改完后再次在命令行执行。输出以下内容表示大功告成。
deepspeed训练模型提示：cpu_adam.so: cannot open shared object file: No such file or directory
weixin_39663060的博客
07-31 399
我们只需要在安装deepspeed时设置DS_BUILD_CPU_ADAM=1即可。因此，我们卸载并重新安装deepspeed。，可以自己alias一下或者建立符号链接到PATH目录中。然后就会自动编译出cpu_adam.so文件。至此，本人问题解决。
DeepSpeed运行报错‘DeepSpeedCPUAdam’ object has no attribute ‘ds_opt_adam’由ninja触发 - 解决
最新发布
kappam的博客
10-02 424
解决DeepSpeed运行报错'DeepSpeedCPUAdam' object has no attribute 'ds_opt_adam'由ninja触发
记录解决AttributeError: ‘Adam‘ object has no attribute ‘_name‘
cll525的博客
01-17 832
可能会收到一个错误，说keras rl需要tensorflow 2.0，但可以忽略它，dqn_cartpole示例应该可以很好地运行下去。：向优化器添加一个名为_name的伪属性，可以使错误消失。
【Deepspeed-Adam】Deepspeed的Adam实现代码精读（cpu_adam、fused_adam）
陈超帅的博客
10-22 1169
Deepspeed的Adam实现的代码精读，其中包括了CPU版本的Adam，还有高度优化的GPU版本的Adam，代码精读与理解。
AttributeError: ‘ChatGLMModel‘ object has no attribute ‘prefix_encoder‘
weixin_43178406的博客
04-25 7万+
本文主要介绍了AttributeError: ‘ChatGLMModel’ object has no attribute 'prefix_encoder’解决方案，希望能对使用python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
AttributeError: ‘LTP‘ object has no attribute ‘init_dict‘解决方案
weixin_43178406的博客
04-20 7万+
本文主要介绍了AttributeError: ‘LTP‘ object has no attribute ‘init_dict‘解决方案，希望能对使用LTP的同学门有所帮助。 文章目录 1. 问题描述 2. 解决方案
AttributeError: ‘ChatGLMConfig‘ object has no attribute ‘quantization_bit‘解决方案
weixin_43178406的博客
04-24 7万+
本文主要介绍了TAttributeError: ‘ChatGLMConfig’ object has no attribute 'quantization_bit’解决方案，希望能对使用python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
timm使用之deepspeed多进程编译问题
蓝鲸鱼的博客
06-14 830
最近使用跑的时候遇到了一个bug，特此记录一下。遇到的bug如下：代码会卡在箭头所示的位置，卡很长时间也不会继续运行。键盘打断之后发现卡在了的的地方。因为最开始运行的时候是好的，后来突然出现问题，因为我第一反应以为是环境出了问题，尝试了重建一个环境，或者都没有解决。想摆烂不用了，但是效果不理想，没办法，还是仔细研究了一下。最后参考了这篇博客和这篇博客，了解到了bug的原因是：多进程对同一内容编译时，导致编译文件锁住了。解决办法：清空缓存文件我采用的代码如下： 问题解决。...
AttributeError：object has no attribute 报错及解决
热门推荐
MichaelAn的博客
12-22 17万+
报错情况：在前端测试中，界面发送一个 PUT 请求，界面发生上面的报错，请求无法响应，服务器状态码是500。 错误分析：语义上是“对象没有一个XXX属性”。 查阅大部分资料，大部分说 Python 的问题。这个项目前端使用 React， 后端使用 Python 的 djongo 框架。 询问后端的同事，主要的原因是前端传递的参数的数据类型不正确。后端需要一个 string 的 “tr...
报错‘Adam‘ object has no attribute ‘lr‘或python报错‘Adam‘ object has no attribute ‘learning_rate‘
oneself的博客
03-07 5726
报错'Adam' object has no attribute 'lr'或python报错'Adam' object has no attribute 'learning_rate' 原因：问题可能是package有更新 解决： 使用optimizer.param_groups[0]['lr']来获取学习率并进行修改
【Deepspeed-DeepSpeedZeroOptimizer-01】ZeRO源码精读01：DeepSpeedZeroOptimizer（ZeRO-1，ZeRO-2）
陈超帅的博客
10-28 2474
【Deepspeed-DeepSpeedZeroOptimizer-01】ZeRO源码精读01：DeepSpeedZeroOptimizer（ZeRO-1，ZeRO-2）
DeepSpeed配置参数 - 快速上手
O_1CxH的博客
02-14 1万+
针对DeepSpeed的几组重要的参数进行说明
AttributeError: module ‘torch.distributed‘ has no attribute ‘deprecated‘问题解决方案
weixin_44438120的博客
01-12 1万+
问题 在参加一个分类比赛的时候down了一套demo用来做比赛，但是在导入from apex.parallel import DistributedDataParallel as DDP的时候提示错误： AttributeError: module ‘torch.distributed‘ has no attribute ‘deprecated‘ 解决方法：AttributeError: module ‘torch.distributed‘ has no attribute ‘deprecated‘ 首
DeepSpeed 部署中bug以及解决方法
编程牧马人
05-09 3946
DeepSpeed 部署问题及解决方案
AttributeError: Dataset object has no attribute met_tensor
09-27
出现 "AttributeError: Dataset object has no attribute met_tensor" 错误通常意味着您正在尝试访问 Dataset 对象的 met_tensor 属性，但该属性在该对象中不存在。 要解决此问题，您可以尝试以下几个步骤： 1. 确保您正确导入了所需的库和模块。检查是否导入了正确的库以及库中是否包含所需的属性和方法。 2. 检查您创建 Dataset 对象的代码，并确保在创建对象时设置了正确的属性和参数。可能是您在创建对象时没有正确设置 met_tensor 属性，导致它在对象中不存在。 3. 如果您是使用第三方库或框架创建 Dataset 对象，请参考该库或框架的文档，查找关于 met_tensor 属性的信息。确保您按照正确的方式使用该库或框架创建和操作 Dataset 对象。 如果您提供更多关于您的代码和上下文的信息，我可能能够给出更具体的解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Allan Jie

希望能和大家一起提升技能

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值