调试模型记录1

文章讲述了作者在使用SageMaker时遇到关于`torch.distributed`模块的RuntimeError,怀疑是Apex与transformers之间的冲突。经过尝试卸载重装Apex、检查终端导入以及参考相关解决方案,最终发现是Apex未正确安装的问题,并提供了详细的解决步骤。
摘要由CSDN通过智能技术生成

又是被环境反复折磨的一天,真该死啊。没关系,还在呼吸,已经很厉害了。

报错是这样的

RuntimeError: Failed to import transformers.sagemaker because of the following error (look up to see its traceback):
module 'torch.distributed' has no attribute '_all_gather_base'

在网上搜索了很久还是没能解决,尝试问了GPT说可能是Apex和transformers产生了冲突。

已经试过将Apex卸载重装,但是还是没有解决。。。

今天继续试。

——————————————————

二编:解决了

在终端中输入python,然后输入import apex,报错,可以看出还是apex没装好的问题。

 还是要重装apex。

使用下面的命令卸载apex。

pip uninstall apex

然后再重装。

git clone https://github.com/ptrblck/apex.git
cd apex
git checkout apex_no_distributed
pip install -v --no-cache-dir ./

难绷,这个东西可太难整了。

参考:

apex安装常见的三个报错并成功解决(亲测有效)_python_weixin_59726951-华为云开发者联盟

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值