二、报错:ImportError: cannot import name ‘openai_object’ from ‘openai’
openai的版本不对,更换版本
pip install openai==0.28.0
三、报错:google.protobuf.message.DecodeError: Error parsing message
- 加载Tokenizer报 google.protobuf.message.DecodeError: Error parsing message 这个错误
错误代码(修改前):
tokenizer = transformers.AutoTokenizer.from_pretrained( model_args.model_name_or_path, cache_dir=training_args.cache_dir, model_max_length=training_args.model_max_length, padding_side="right", use_fast=False, )
修改后:去掉 use_fast=False
tokenizer = transformers.AutoTokenizer.from_pretrained( model_args.model_name_or_path, cache_dir=training_args.cache_dir, model_max_length=training_args.model_max_length, padding_side="right" )
四、报错 torch.distributed.elastic.multiprocessing.errors.ChildFailedError(exitcode返回不是-9)
- 报这个错误原因有很多,错误点不在这里,应该看上面的错误提醒,上面的错误才是真正需要解决的,在分布式训练中,子进程只要报错,主进程总是可以看到torch.distributed.elastic.multiprocessing.errors.ChildFailedError这个错误,因此解决方法可以先把gpu其他节点关掉,使用一个节点去分析终端报的错误,然