环境信息:
PyTorch 2.0.0
Python 3.8(ubuntu20.04)
Cuda 11.8
RTX 3090(24GB) * 1
模型
/home/zhangwei/llm
源码
/usr/local/project/conda/Qwen/Qwen
mkdir -p /root/autodl-tmp/usr/local/project/conda/Qwen #【用来存放Qwen2源码】
mkdir -p /root/autodl-tmp/home/zhangwei/llm #【用来存放Qwen2模型】
cd /root/autodl-tmp/usr/local/project/conda/Qwen #【进入文件夹】
git clone https://github.com/QwenLM/Qwen2.git #[下载Qwen源码】
cd /root/autodl-tmp/usr/local/project/conda/Qwen/Qwen
pip install -r requirements.txt
pip install -r requirements_web_demo.txt
cd /root/autodl-tmp/home/zhangwei/llm #【进入模型文件夹】
#安装modelscope
pip install modelscope opencv-python
#下载模型
modelscope download --model 'qwen/Qwen2-7B-Instruct' --cache_dir '/root/autodl-tmp/home/zhangwei/llm'
#下载模型
modelscope download --model 'qwen/Qwen2-72B-Instruct-GPTQ-Int4' --cache_dir '/root/autodl-tmp/home/zhangwei/llm'
#如果提示缺AutoGPTQ就安装AutoGPTQ,cuda 11.7
#对于 CUDA 11.7:
pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu117/
#对于 CUDA 11.8:
pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/
#对于 RoCm 5.4.2:
pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm542/
#运行时选择自己想要用的模型
#提示缺什么就用pip装什么,需要注意的是版本 cuda 、python 等版本的兼容问题
#web运行
#--server-port 指定运行端口
#--server-name 指定 IP
#-c 指定模型目录
python web_demo.py --server-port 6006 --server-name 0.0.0.0 -c /root/autodl-tmp/home/zhangwei/llm/qwen/Qwen2-7B-Instruct
#命令行运行
#-c 指定模型目录
python cli_demo.py -c /root/autodl-tmp/home/zhangwei/llm/qwen/Qwen2-7B-Instruct