【大模型】ChatGLM模型微调报错汇总[更新中...]

ChatGLMTokenizer’ object has no attribute ‘sp_tokenizer’

【问题描述】：由于大模型相关的各种依赖包版本更新较快，会导致该报错：

'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'

【解决方案】：这里主要是由transformers 版本问题导致的，解决方案可以参考博客：https://blog.csdn.net/Tink_bell/article/details/137942170

在我的环境中通过安装 transformers==4.33.0 版本解决了此问题。

pip install transformers==4.33.0

ChatGLMTokenizer does not exist or is not currently imported

由transformers 版本问题导致的，可以更新下transformers 的版本到较新的版本。

AttributeError: ‘ChatGLMTokenizer’ object has no attribute ‘build_prompt’

【问题描述】：下载了 THUDM/chatglm3-6b 的完整模型文件，在微调过程中报错：

AttributeError: 'ChatGLMTokenizer' object has no attribute 'build_prompt'

【解决方案】：替换 tokenization_chatglm.py 文件。

• THUDM/chatglm2-6b 的 tokenization_chatglm.py 文件中 ChatGLMTokenizer 类包含有build_prompt 方法的实现：
  

• THUDM/chatglm3-6b 的 tokenization_chatglm.py 文件中 ChatGLMTokenizer 类没有build_prompt 方法的实现。

ImportError: cannot import name ‘is_npu_available’ from ‘accelerate.utils’

【解决方案】：更新accelerate 库即可。

pip uninstall accelerate
pip install accelerate