代码仓库地址:https://github.com/QwenLM/Qwen
安装
- 克隆我们的仓库并跳转到相应目录
git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int4.git
cd Qwen-7B-Chat-Int4
2. 创建 conda 环境
conda create -n qwenint4 python=3.8 -y
conda activate qwenint4
conda activate qwenint4
3. 安装依赖
pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple
pip install gradio==3.40.0 -i https://pypi.mirrors.ustc.edu.cn/simple
安装缺失
pip install optimum -i https://pypi.mirrors.ustc.edu.cn/simple
pip install auto-gptq -i https://pypi.mirrors.ustc.edu.cn/simple