‘ChatGLMTokenizer‘ object has no attribute ‘sp_tokenizer‘

AttributeError: ‘ChatGLMTokenizer’ object has no attribute 'sp_tokenizer

这个错误是因为在使用chatglmtokenizer对象时，尝试调用了一个名为’sp_tokenizer’的属性，但是该对象并没有这个属性。这个错误通常是由于代码中对对象属性的错误调用或对象没有正确初始化引起的。要解决这个问题，我们需要检查代码中对chatglmtokenizer对象的使用，确认是否存在对’sp_tokenizer’属性的错误调用。同时，我们也需要检查对象的初始化过程，确保对象被正确创建并且具有需要的属性。可以通过查阅相关文档或者调试代码来定位并修复这个错误。最常见的情况是因为命名错误导致的属性调用错误，或者在初始化对象时出现了问题。检查代码并根据错误信息进行修正，可以帮助我们解决这个错误。

检查模型文件是否是最新版本

首先替换最新的 tokenization_chatglm.py
地址：https://huggingface.co/THUDM/chatglm-6b/blob/main/tokenization_chatglm.py

解决办法1：

安装 transformers <= 4.34.0 的版本
pip install transformers <= 4.34.0

绝大多数办法都是跟换版本，但不是一个好办法。方案2既可以保留现有版本，又可以成功解决该问题。

解决办法2：

修改tokenizer_chatglm.py 如下：

将221行的代码放到 196行上面，即再super()方法前进行创建

修改效果如下：