Qwen(通义千问)量化微调实战指南:部署与优化一步到位!

通义千问(Qwen)是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样,覆盖广泛,包括大量网络文本、专业书籍、代码等。

今天我们来对这个模型进行本地部署实践

一、环境要求

  • python 3.8及以上版本

  • pytorch 1.12及以上版本,推荐2.0及以上版本

  • 建议使用CUDA 11.4及以上(GPU用户、flash-attention用户等需考虑此选项)

、快速部署

git clone https://github.com/QwenLM/Qwen``pip install -r requirements.txt

PS:如果你的显卡支持fp16或bf16精度你还推荐安装flash-attention来提高你的运行效率以及降低显存占用。(不是必选项)

git clone -b v1.0.8 https://github.com/Dao-AILab/flash-attention``cd flash-attention && pip install .

下面我们可以Transformers来调用qwen模型了,代码具体如下:

from transformers import AutoModelForCausalLM, AutoTokenizer``from transformers.generation import GenerationConfig``?``# 可选的模型包括: "Qwen/Qwen-7B", "Qwen/Qwen-14B"``tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B", trust_remote_code=True)``?``# 打开bf16精度,A100、H100、RTX3060、RTX3070等显卡建议启用以节省显存``# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True, bf16=True).eval()``# 打开fp16精度,V100、P100、T4等显卡建议启用以节省显存``# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True, fp16=True).eval()``# 使用CPU进行推理,需要约32GB内存``# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="cpu", trust_remote_code=True).eval()``# 默认使用自动模式,根据设备自动选择精度``model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B", device_map="auto", trust_remote_code=True).eval()``?``# 可指定不同的生成长度、top_p等相关超参``model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-7B", trust_remote_code=True)``?``inputs = tokenizer('南斯拉夫战争后,分裂为哪几个国家?', return_tensors='pt')``inputs = inputs.to(model.device)``pred = model.generate(**inputs)``print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))``# 南斯拉夫战争之后,南斯拉夫社会主义联邦共和国彻底解体,分裂为以下几个独立国家: 斯洛文尼亚    克罗地亚    波斯尼亚和黑塞哥维纳(波黑)    北马其顿    黑山    塞尔维亚.....

、模型量化

1、AutoGPTQ量化法:

在量化使用前,请先保证满足要求(如torch 2.0及以上,transformers版本为4.32.0及以上,等等),并安装所需安装包:

pip install auto-gptq optimum

如安装auto-gptq遇到问题,我们建议您到官方repo搜索合适的wheel。repo网址:

https://github.com/PanQiWei/AutoGPTQ

随后即可使用和上述一致的用法调用量化模型:

# 可选用的模型包括:"Qwen/Qwen-7B-Chat-Int4", "Qwen/Qwen-14B-Chat-Int4"``model = AutoModelForCausalLM.from_pretrained(`    `"Qwen/Qwen-7B-Chat-Int4",`    `device_map="auto",`    `trust_remote_code=True``).eval()``response, history = model.chat(tokenizer, "hello", history=None)

2、KV cache量化法

提供use_cache_quantization以及use_cache_kernel两个参数对模型控制,当use_cache_quantization以及use_cache_kernel均开启时,将启动kv-cache量化的功能。具体使用如下:

model = AutoModelForCausalLM.from_pretrained(`    `"Qwen/Qwen-7B-Chat",`     `device_map="auto",`     `trust_remote_code=True,`     `use_cache_quantization=True,`     `use_cache_kernel=True,`     `use_flash_attn=False``)

四、微调

在已经下载的程序目录,找到finetune.py脚本,它供用户实现在自己的数据上进行微调的功能。

1、准备微调数据,需要的微调数据样式如下:

[`  `{`    `"id": "identity_0",`    `"conversations": [`      `{`        `"from": "user",`        `"value": "九源的山楂树林里有几棵树?",`      `},`      `{`        `"from": "assistant",`        `"value": "有15棵树"`      `}`    `]`  `}``]

准备好数据后,你可以使用我们提供的shell脚本实现微调。

注意,需要在脚本中指定你的数据的路径。

finetune目录下有几个脚本:能够帮你实现,全参数微调,LoRA,Q-LoRA集中方式的微调。

全参数微调:

# 分布式训练。由于显存限制将导致单卡训练失败,我们不提供单卡训练脚本。``# 注意运行前改数据文件路径哦``sh finetune/finetune_ds.sh

LoRA微调:

在开始前,请确保已经安装peft代码库。另外,记住要设置正确的模型、数据和输出路径。我们建议你为模型路径使用绝对路径。这是因为LoRA仅存储adapter部分参数,而adapter配置json文件记录了预训练模型的路径,用于读取预训练模型权重。

# 单卡训练``sh finetune/finetune_lora_single_gpu.sh``# 分布式训练``sh finetune/finetune_lora_ds.sh

Q-LoRA微调:

# 分布式训练``sh finetune/finetune_qlora_ds.sh``# 官方建议你使用我们提供的Int4量化模型进行训练,即Qwen-7B-Chat-Int4。然而,与全参数微调以及LoRA不同,Q-LoRA仅支持fp16。

微调完成后,和全参数微调不同,LoRA和Q-LoRA的训练只需存储adapter部分的参数。具体代码如下:

from peft import AutoPeftModelForCausalLM``   ``model = AutoPeftModelForCausalLM.from_pretrained(`    `path_to_adapter, # path to the output directory`    `device_map="auto",`    `trust_remote_code=True``).eval()

五、WEB UI

觉得命令行调用太不方便,官方提供了webui,具体安装如下:

pip install -r requirements_web_demo.txt``# 随后运行脚本启动web``python web_demo.py --server-port 8087 --server-name "0.0.0.0"

六、对外API

先安装依赖

pip install fastapi uvicorn openai "pydantic>=2.3.0" sse_starlette

随后即可运行以下命令部署你的本地API:

python openai_api.py

具体调用api脚本:

import openai``openai.api_base = "http://localhost:8000/v1"``openai.api_key = "none"``response = openai.ChatCompletion.create(`    `model="Qwen",`    `messages=[`        `{"role": "user", "content": "hello"}`    `],`    `stream=False,`    `stop=[] # 在此处添加自定义的stop words``)``print(response.choices[0].message.content)

END

在这里插入图片描述

如何学习AI大模型?

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

### 编写有效文心一言 Prompt 的指南 为了使文心一言能够更精准地理解并回应用户的意图,编写高质量的提示词(Prompt)至关重要。以下是构建高效提示词的一些原则和具体实例。 #### 明确表达需求 清晰表述请求的具体内容有助于获得更加贴合预期的回答。例如,在询关于天气预报的信息时,可以这样描述:“请提供明天北京地区的天气情况。” ```plaintext 输入: "请提供明天北京地区的天气情况" ``` #### 提供上下文信息 当涉及到较为复杂的话题讨论或是特定领域内的查询时,给出足够的背景资料可以让模型更好地定位答案范围。比如针对某个历史事件的研究论文写作建议: ```plaintext 输入: "正在撰写一篇有关于二战期间诺曼底登陆战役影响的文章,请给我一些研究方向上的指导。" ``` #### 控制输出长度格式 如果希望得到简洁明了的结果,则可以在指令中明确提出这一点;同样也可以指定想要获取的数据形式,如列表、段落等。对于寻求书籍推荐的情况来说, ```plaintext 输入: "列出五本适合初学者阅读的人工智能入门书籍名称及其作者名。" ``` #### 使用引导性题 有时候采用句的方式能促使AI生成更具针对性的内容。假设要探索未来十年内可能出现的重大科技趋势, ```plaintext 输入: "在未来十年里,哪些新兴技术最有可能改变我们的生活方式?为什么?" ``` 以上方法不仅适用于日常交流互动,也广泛应用于开发基于自然语言处理的应用程序和服务当中[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值