‘ChatGLMTokenizer‘ object has no attribute ‘build_prompt‘

三生誓~今生界

已于 2024-07-21 18:05:34 修改

阅读量217

点赞数 8

分类专栏：大模型训练文章标签： prompt

于 2024-07-21 17:39:19 首次发布

本文链接：https://blog.csdn.net/qq_43749831/article/details/140591016

版权

大模型训练专栏收录该内容

1 篇文章 0 订阅

订阅专栏

问题报错：'ChatGLMTokenizer' object has no attribute 'build_prompt'
报错原因：训练时候文件完整性导致的，huggingface skip large file会导致一些文件没有被完全下载下来
问题解决：可以把 /chatglm2-6b 里 tokenization_chatglm.py ，类'ChatGLMTokenizer'的函数 'build_prompt'，添加到 /chatglm-6b 的modeling_chatglm.py 里就可以解决该问题了。
具体实现：从glm2源码中tokenization_chatglm.py 里边找到如下方法

def build_prompt(self,query, history=None):
          if history is None:
              history = []
          prompt = ""
          for i, (old_query, response) in enumerate(history):
              prompt += "[Round {}]\n\n问：{}\n\n答：{}\n\n".format(i + 1, old_query, response)
          prompt += "[Round {}]\n\n问：{}\n\n答：".format(len(history) + 1, query)
          return prompt

去掉self，放在模型训练生成的文件modeling_chatglm.py 最上边

def build_prompt(query, history=None):
          if history is None:
              history = []
          prompt = ""
          for i, (old_query, response) in enumerate(history):
              prompt += "[Round {}]\n\n问：{}\n\n答：{}\n\n".format(i + 1, old_query, response)
          prompt += "[Round {}]\n\n问：{}\n\n答：".format(len(history) + 1, query)
          return prompt