通义千问大模型私有化部署教程，帮你快速上手！

可乐鸡翅面

已于 2024-09-04 16:36:18 修改

阅读量706

点赞数 5

文章标签：人工智能 transformer 机器人自动驾驶大数据

于 2024-08-21 11:44:02 首次发布

本文链接：https://blog.csdn.net/weixin_72959097/article/details/141389615

版权

我们根据公司实际业务测试反馈，在中文条件下阿里通义千问效果比较符合使用预期。所以，此次大模型的底座权重选择了Qwen-14B-Chat-Int4。

第一步：下载安装NVIDIA显卡驱动。

linux版下载安装方式如下：

查明你的NVIDIA显卡型号，以确保下载的版本：

lspci | grep -i vga

找到含有NVIDIA的那一行查看相应型号：去官网下载

https://www.nvidia.cn/Download/index.aspx?lang=cn

将驱动传到服务器

scp C:\Users\Downloads\NVIDIA-Linux-x86_64-535.86.05.run root@xxx.xx.xx.xx:/data/

安装驱动

sh NVIDIA-Linux-x86_64-535.86.05.run --no-opengl-files

检验是否安装成

nvidia-smi

第二步：Linux系统上Anaconda安装，并创建anaconda的虚拟环境：llm

#anaconda镜像源 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/``可以参考：https://zhuanlan.zhihu.com/p/362673837 的安装方式``#创建虚拟环境 llm``conda create -n llm python=3.10``conda activate llm       激活虚拟环境 （无网条件下未激活成功，有知道的麻烦留言！！）``conda deactivate          关闭虚拟环境``##添加清华镜像``conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/``conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/``conda config --set show_channel_urls yes


### **第三步：安装pytorch框架**

切换到llm环境``conda activate llm``# 启动jupyter notebooks``nohup jupyter notebook > ./jupyter.log 2>&1 &``   ``# 安装pytorch CUDA 11.8版本的``pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu118


### **第四步：在jupyter中下载权重**

#安装modelscope依赖包``!pip install modelscope``#模型下载(这里会下载一会儿...)，cache_dir记得替换成自己的linux文件夹位置``from modelscope import snapshot_download``model_dir = snapshot_download('qwen/Qwen-14B-Chat-Int4', cache_dir='/home/administrator/language')


![](https://img-blog.csdnimg.cn/img_convert/5f8cb2184172a838197b0ba2c2523b90.png)

### **第五步：启动大模型**

#先安装依赖``pip install transformers==4.38.1``pip install accelerate tiktoken einops scipy``pip install transformers_stream_generator==0.0.4

import torch``from transformers import AutoTokenizer, AutoModelForCausalLM``from transformers.generation import GenerationConfig``torch.cuda.is_available()``available_memory = torch.cuda.get_device_properties(0).total_memory``#查看显存大小``print(available_memory)``   ``DEVICE = "cuda"``DEVICE_ID = "0"``CUDA_DEVICE = f"{DEVICE}:{DEVICE_ID}" if DEVICE_ID else DEVICE``#model_path替换成自己的模型权重下载的位置``model_path='/home/administrator/language/qwen/Qwen-14B-Chat-Int4'``tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)``model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", trust_remote_code=True).eval()``model.generation_config = GenerationConfig.from_pretrained(model_path, trust_remote_code=True)``   ``#调用chat()方法，传入用户问题``user_prompt = "你好，你是谁？"``response, history = model.chat(tokenizer, user_prompt, history=None)``print(response)

自此，通义千问大模型的私有化部署以及环境搭建告一段落。