运行cli_demo.py,报错如下图
查了很多博客,方法基本是transformers版本问题,但试了多次无效。
最后只好分析代码,发现ChatGLM2-6b-int的github项目文件的modeling_chatglm.py中代码有问题
画圈部分是想接受两个返回值,实际_extract_past_from_model_output函数却是只返回一个值
对比chatglm3-6b-32k版本的modeling_chatglm.py
推测未被使用的is_encoder_decoder参数就是对应的standardize_cache_format,仿照进行修改如下图。
成功运行