ChatGLM2-6B微调记录No module named ‘transformers_modules.THUDM/chatglm-6b’

1.报错 No module named ‘transformers_modules.THUDM/chatglm-6b
    win系统下子文件夹的路径应该写成\（“THUDM\chatglm-6b”）, 原代码写的是linux文件系统用的/ (“THUDM/chatglm-6b”)。

2.报错 pytorch_model.bin don’t exists
   使用ptuning进行微调后，在checkpoint-3000路径下并没有pytorch_model.bin，只有training_args.bin，无法运行prefix_state_dict = torch.load(os.path.join(CHECKPOINT_PATH, “pytorch_model.bin”)) 。需要安装4.30.2版本的transformers

pip install  transformers==4.30.2

3.4比特量化，name ‘round_up’ is not defined

pip install cpm_kernels

4.assert scale_list.dtype in [torch.half, torch.bfloat16]

将main.py中的model.float()，改为 model.half()，这样就可以正常运行了。

未完待续

https://github.com/THUDM/ChatGLM2-6B/issues/660
https://blog.csdn.net/qq_42820853/article/details/135174789
https://github.com/THUDM/ChatGLM2-6B/issues/307