m0_72639964的博客

原创 本地部署chatglm-6b-int4时使用魔搭模型报错

原因时transformer会检查模型import的库，如果没有就报错，而在modeling_chatglm.py中import了文件夹内的configuration_chatglm。一点之差，导致报错，修改modeling_chatglm.py文件，加个点就可以了。而huggingface的导入方式为。最可气的是，魔搭版的导入方式为。