在尝试部署ChatGLM模型到本地CPU时，用户遇到了编译后的so文件无法被正确识别的问题，导致运行时提示‘Nocompiledkernelfound’。同时，在执行量化步骤时，使用指定的kernel_file又引发了新的错误。用户寻求关于如何解决这两个问题的建议和解决方案。
问题：Chatglm cpu 本地部署时编译出错。
本人已经手动编译得到了2个so文件，如图
但是在执行 model = AutoModel.from_pretrained("D:\\LLM\\ChatGLM-6B-main\\model",trust_remote_code=True, revision="").float()时，仍然显示
No compiled kernel found.详细报错见下图
并且当我直接执行 model = model.quantize(bits=4, kernel_file="D:\\LLM\\ChatGLM-6B-main\\model\\quantization_kernels.so")时，还会出现如下错误。
6万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
