【你的第一个大模型部署，Qwen1_8B-Chat-Int8，8G甚至4G显卡即可运行】

部署第一个小模型，为以后finetuning微调应用打下基础

一、环境部署，详见modelscope或者github

1.硬件要求

建议使用CUDA 11.4及以上（GPU用户、flash-attention用户等需考虑此选项）
ps：

• 这是硬件的驱动，我把它归为此类了，网上装CUDA和cuDNN教程很多了，装12.1没毛病。
• 反正就是显卡越牛逼越行，我的RTX2070在后面装fast-attention装上用不了，需要RTX30系列或者A系列。

2.软件环境依赖要求

1.python 3.8及以上版本 我用的python3.11.7
2. pytorch 2.0及以上版本 对着官网的pip下载就行
3. 照下面4和5运行也许，标准来说应该
git clone https://hub.yzuu.cf/QwenLM/Qwen.git
cd Qwen
pip install -r requirements.txt
4. pip install transformers==4.32.0 accelerate tiktoken einops scipy transformers_stream_generator==0.0.4 peft deepspeed
这个deepspeed特别坑，照这哥们进行操作，只不过我设置的环境变量为0还不太一样，