1.报错 No module named ‘transformers_modules.THUDM/chatglm-6b
win系统下子文件夹的路径应该写成\(“THUDM\chatglm-6b”), 原代码写的是linux文件系统用的/ (“THUDM/chatglm-6b”)。
2.报错 pytorch_model.bin don’t exists
使用ptuning进行微调后,在checkpoint-3000路径下并没有pytorch_model.bin,只有training_args.bin,无法运行prefix_state_dict = torch.load(os.path.join(CHECKPOINT_PATH, “pytorch_model.bin”)) 。需要安装4.30.2版本的transformers
pip install transformers==4.30.2
3.4比特量化,name ‘round_up’ is not defined
pip install cpm_kernels
4.assert scale_list.dtype in [torch.half, torch.bfloat16]
将main.py中的model.float(),改为 model.half(),这样就可以正常运行了。
未完待续
https://github.com/THUDM/ChatGLM2-6B/issues/660
https://blog.csdn.net/qq_42820853/article/details/135174789
https://github.com/THUDM/ChatGLM2-6B/issues/307