今天在使用自己的数据微调千问大模型,使用的是LLaMA-Factory库。
遇到这个问题,是因为json里的值存在空值。
我们自己的数据一般都是从csv里面转为json的,但是一旦字段还有空值,就会引起这个问题,所以需要删除含有空值的记录。
同时构造数据时也要注意加history,可以为空list,但不能不加
https://github.com/hiyouga/LLaMA-Factory/issues/2490
今天在使用自己的数据微调千问大模型,使用的是LLaMA-Factory库。
遇到这个问题,是因为json里的值存在空值。
我们自己的数据一般都是从csv里面转为json的,但是一旦字段还有空值,就会引起这个问题,所以需要删除含有空值的记录。
同时构造数据时也要注意加history,可以为空list,但不能不加
https://github.com/hiyouga/LLaMA-Factory/issues/2490