单卡trainer.train（resume_from_checkpoint=True）报错AttributeError: ‘list‘ object has no attribute ‘clone‘

具体情况

我的配置是使用的deepspeed zero_stage2进行的单卡训练，在使用hugging face的Trainer类进行trainer.train（resume_from_checkpoint=True）的过程中出现了如下错误：
Traceback (most recent call last):
File “src/train.py”, line 393, in
main()
File “src/train.py”, line 385, in main
trainer.train(resume_from_checkpoint=True)
File “/opt/conda/lib/python3.8/site-packages/transformers/trainer.py”, line 1661, in train
return inner_training_loop(
File “/opt/conda/lib/python3.8/site-packages/transformers/trainer.py”, line 1901, in _inner_training_loop
self._load_rng_state(resume_from_checkpoint)
File “/opt/conda/lib/python3.8/site-packages/transformers/trainer.py”, line 2322, in _load_rng_state
torch.cuda.random.set_rng_state(checkpoint_rng_state[“cuda”])
File “/opt/conda/lib/python3.8/site-packages/torch/cuda/random.py”, line 51, in set_rng_state
new_state_copy = new_state.clone(memory_format=torch.contiguous_format)
AttributeError: ‘list’ object has no attribute ‘clone’

处理过程

看报错是因为new_state是一个list，所以不能clone。
简单来想直接将new_state进行torch.tensor(new_state)一下就解决了，实际不能解决问题，出现typeError报错：

那么只能进行调试看看这个神秘的new_state了，print()一下发现了它真是一个列表，不过列表里面有一个张量，也就是torch.cuda.random.set_rng_state实际需要的输入了。

向上一层看，问题出现在/transformers/trainer.py包中的self._load_rng_state(resume_from_checkpoint)的torch.cuda.random.set_rng_state(checkpoint_rng_state[“cuda”])，可以看到源码中加载的就是一个列表，没有对其进行处理（可能是因为deepspeed的原因导致其在外面套了个列表），那么为了符合我单卡deepspeed的情况，将其修改为torch.cuda.random.set_rng_state(checkpoint_rng_state[“cuda”][0])便可以符合函数的torch.cuda.random.set_rng_state（）的输入需求了

成果

运行成功，效果如下：