qwen-1.5 gptq模型的依赖的推荐版本号
最新推荐文章于 2024-09-15 22:31:42 发布
本文介绍了在使用GPTq量化的模型时,如qwen-1.5-14B,推荐的auto-gptq版本0.4.2和optimum版本1.13.1,同时指出transformers库需至少4.38.1版本。
摘要由CSDN通过智能技术生成