1,完整报错为
“Unable to create tensor, you should probably activate truncation and/or padding with ‘padding=True’ ‘truncation=True’ to have batched tensors with the same length. Perhaps your features (labels
in this case) have excessive nesting (inputs type list
where type int
is expected)”
2,问题出现背景
基于Qwen-1.5(github地址)官方提供的微调脚本,使用72B-Chat为底座并使用lora进行高效参数微调,脚本启动后报上述错误
3,问题解决
官方提供的dockefile中transformer的版本为4.37.0,我的版本为4.40.0,回退到4.37.0版本,问题解决。
BUG的具体信息还没有仔细理解,后续如果理解了再更新吧,也希望有大神看到评论具体分析下。
Done!!!