单卡trainer.train（resume_from_checkpoint=True）报错AttributeError: ‘list‘ object has no attribute ‘clone‘

最新推荐文章于 2024-06-20 23:59:17 发布

小740

最新推荐文章于 2024-06-20 23:59:17 发布

阅读量1.5k

点赞数

文章标签：人工智能 nlp 深度学习

本文链接：https://blog.csdn.net/ego_grow/article/details/130834986

版权

在使用Deepspeedzero_stage2进行单卡训练并尝试使用Huggingface的Trainer类恢复训练时，遇到list对象无clone属性的错误。问题出在torch.cuda.random.set_rng_state函数的输入上，由于Deepspeed的原因，列表中多了一个额外的层。解决方案是将输入调整为列表中的第一个元素，即torch.cuda.random.set_rng_state(checkpoint_rng_state[cuda][0])，此修改使代码能够正确运行并成功恢复训练。

摘要由CSDN通过智能技术生成

deepspeed单卡训练后trainer.train（resume_from_checkpoint=True）报错AttributeError: 'list' object has no attribute 'clone'

具体情况
处理过程
成果

具体情况

我的配置是使用的deepspeed zero_stage2进行的单卡训练，在使用hugging face的Trainer类进行trainer.train（resume_from_checkpoint=True）的过程中出现了如下错误：
Traceback (most recent call last):
File “src/train.py”, line 393, in
main()
File “src/train.py”, line 385, in main
trainer.train(resume_from_checkpoint=True)
File “/opt/conda/lib/python3.8/site-packages/transformers/trainer.py”, line 1661, in train
return inner_training_loop(
File “/opt/conda/lib/python3.8/site-packages/transformers/trainer.py”, line 1901, in _inner_training_loop
self._load_rng_state(resume_from_checkpoint)
File “/opt/conda/lib/python3.8/site-packages/transformers/trainer.py”, line 2322, in _load_rng_state
torch.cuda.random.set_rng_state(checkpoint_rng_state[“cuda”])
File “/opt/conda/lib/python3.8/site-packages/torch/cuda/random.py”, line 51, in set_rng_state
new_state_copy = new_state.clone(memory_format=torch.contiguous_format)
AttributeError: ‘list’ object has no attribute ‘clone’

处理过程

原始报错
看报错是因为new_state是一个list，所以不能clone。
简单来想直接将new_state进行torch.tensor(new_state)一下就解决了，实际不能解决问题，出现typeError报错：
首次处理后
那么只能进行调试看看这个神秘的new_state了，print()一下发现了它真是一个列表，不过列表里面有一个张量，也就是torch.cuda.random.set_rng_state实际需要的输入了。
new_state状态

向上一层看，问题出现在/transformers/trainer.py包中的self._load_rng_state(resume_from_checkpoint)的torch.cuda.random.set_rng_state(checkpoint_rng_state[“cuda”])，可以看到源码中加载的就是一个列表，没有对其进行处理（可能是因为deepspeed的原因导致其在外面套了个列表），那么为了符合我单卡deepspeed的情况，将其修改为torch.cuda.random.set_rng_state(checkpoint_rng_state[“cuda”][0])便可以符合函数的torch.cuda.random.set_rng_state（）的输入需求了

修改后