通义千问(Qwen)是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。
今天我们来对这个模型进行本地部署实践
一、环境要求
-
python 3.8及以上版本
-
pytorch 1.12及以上版本,推荐2.0及以上版本
-
建议使用CUDA 11.4及以上(GPU用户、flash-attention用户等需考虑此选项)
二 、快速部署
git clone https://github.com/QwenLM/Qwen``pip install -r requirements.txt
PS:如果你的显卡支持fp16或bf16精度你还推荐安装flash-attention来提高你的运行效率以及降低显存占用。(不是必选项)
git clone -b v1.0.8 https://github.com/Dao-AILab/flash-attention``cd flash-attention && pip install .
下面我们可以Transformers来调用qwen模型了,代码具体如下:
from transformers import AutoModelForCausalLM, AutoTokenizer``from transformers.generation import GenerationConfig``?``# 可选的模型包括: "Qwen/Qwen-7B", "Qwen/Qwen-14B"``tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B", trust_remote_code=True)``?``# 打开bf16精度,A100、H100、RTX3060、RTX3070等显卡建议启用以节省显存``# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True, bf16=True).eval()``# 打开fp16精度,V100、P100、T4等显卡建议启用以节省显存``# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True, fp16=True).eval()``# 使用CPU进行推理,需要约32GB内存``# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="cpu", trust_remote_code=True).eval()``# 默认使用自动模式,根据设备自动选择精度``model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True).eval()``?``# 可指定不同的生成长度、top_p等相关超参``model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-7B", trust_remote_code=True)``?``inputs = tokenizer('南斯拉夫战争后,分裂为哪几个国家?', return_tensors='pt')``inputs = inputs.to(model.device)``pred = model.generate(**inputs)``print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))``# 南斯拉夫战争之后,南斯拉夫社会主义联邦共和国彻底解体,分裂为以下几个独立国家: 斯洛文尼亚 克罗地亚 波斯尼亚和黑塞哥维纳(波黑) 北马其顿 黑山 塞尔维亚.....
三 、模型量化
1、AutoGPTQ量化法:
在量化使用前,请先保证满足要求(如torch 2.0及以上,transformers版本为4.32.0及以上,等等),并安装所需安装包:
pip install auto-gptq optimum
如安装auto-gptq遇到问题,我们建议您到官方repo搜索合适的wheel。repo网址:
https://github.com/PanQiWei/AutoGPTQ
随后即可使用和上述一致的用法调用量化模型:
# 可选用的模型包括:"Qwen/Qwen-7B-Chat-Int4", "Qwen/Qwen-14B-Chat-Int4"``model = AutoModelForCausalLM.from_pretrained(` `"Qwen/Qwen-7B-Chat-Int4",` `device_map="auto",` `trust_remote_code=True``).eval()``response, history = model.chat(tokenizer, "hello", history=None)
2、KV cache量化法
提供use_cache_quantization以及use_cache_kernel两个参数对模型控制,当use_cache_quantization以及use_cache_kernel均开启时,将启动kv-cache量化的功能。具体使用如下:
model = AutoModelForCausalLM.from_pretrained(` `"Qwen/Qwen-7B-Chat",` `device_map="auto",` `trust_remote_code=True,` `use_cache_quantization=True,` `use_cache_kernel=True,` `use_flash_attn=False``)
四、微调
在已经下载的程序目录,找到finetune.py脚本,它供用户实现在自己的数据上进行微调的功能。
1、准备微调数据,需要的微调数据样式如下:
[` `{` `"id": "identity_0",` `"conversations": [` `{` `"from": "user",` `"value": "九源的山楂树林里有几棵树?",` `},` `{` `"from": "assistant",` `"value": "有15棵树"` `}` `]` `}``]
准备好数据后,你可以使用我们提供的shell脚本实现微调。
注意,需要在脚本中指定你的数据的路径。
finetune目录下有几个脚本:能够帮你实现,全参数微调,LoRA,Q-LoRA集中方式的微调。
全参数微调:
# 分布式训练。由于显存限制将导致单卡训练失败,我们不提供单卡训练脚本。``# 注意运行前改数据文件路径哦``sh finetune/finetune_ds.sh
LoRA微调:
在开始前,请确保已经安装peft代码库。另外,记住要设置正确的模型、数据和输出路径。我们建议你为模型路径使用绝对路径。这是因为LoRA仅存储adapter部分参数,而adapter配置json文件记录了预训练模型的路径,用于读取预训练模型权重。
# 单卡训练``sh finetune/finetune_lora_single_gpu.sh``# 分布式训练``sh finetune/finetune_lora_ds.sh
Q-LoRA微调:
# 分布式训练``sh finetune/finetune_qlora_ds.sh``# 官方建议你使用我们提供的Int4量化模型进行训练,即Qwen-7B-Chat-Int4。然而,与全参数微调以及LoRA不同,Q-LoRA仅支持fp16。
微调完成后,和全参数微调不同,LoRA和Q-LoRA的训练只需存储adapter部分的参数。具体代码如下:
from peft import AutoPeftModelForCausalLM`` ``model = AutoPeftModelForCausalLM.from_pretrained(` `path_to_adapter, # path to the output directory` `device_map="auto",` `trust_remote_code=True``).eval()
五、WEB UI
觉得命令行调用太不方便,官方提供了webui,具体安装如下:
pip install -r requirements_web_demo.txt``# 随后运行脚本启动web``python web_demo.py --server-port 8087 --server-name "0.0.0.0"
六、对外API
先安装依赖
pip install fastapi uvicorn openai "pydantic>=2.3.0" sse_starlette
随后即可运行以下命令部署你的本地API:
python openai_api.py
具体调用api脚本:
import openai``openai.api_base = "http://localhost:8000/v1"``openai.api_key = "none"``response = openai.ChatCompletion.create(` `model="Qwen",` `messages=[` `{"role": "user", "content": "hello"}` `],` `stream=False,` `stop=[] # 在此处添加自定义的stop words``)``print(response.choices[0].message.content)
END
如何学习AI大模型?
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓