RuntimeError: CUDA error: device-side assert triggered
Compile with TORCH_USE_CUDA_DSA
to enable device-side assertions.
微调baichuan-7b 的时候报了这个错,后面调试了一下发现是因为
baichuan1 的tokenizer类缺少了pad_token
使用
tokenizer.add_special_tokens({‘pad_token’: ‘[PAD]’})添加pad_token的话会导致数据在eos之后还会有值,会导致计算出错
所以应该用
tokenizer.pad_token = tokenizer.eos_token
来定义pad_token