如何使用阿里开源的通义千问大语言模型

已于 2024-04-30 19:59:13 修改
阅读量315 收藏
点赞数 2
分类专栏： 大模型技术开发与实践 文章标签： 人工智能 大模型 阿里大模型 通义千问 AIGC
于 2024-04-21 21:45:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l35633/article/details/138046535
版权
Qwen是阿里云开发的大型预训练语言模型，支持聊天和多种语言任务，提供不同规模的模型选项。代码库包含模型实现和示例，适用于聊天、内容生成等AI应用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

地址：

GitHub - QwenLM/Qwen: The official repo of Qwen (通义千问) chat & pretrained large language model proposed by Alibaba Cloud.

中文说明文档：

Qwen/README_CN.md at main · QwenLM/Qwen · GitHub

Qwen 是由阿里巴巴云提出的一个开源的大型预训练语言模型，主要用于聊天和语言任务。该项目的代码库包括了各种模型的实现和示例，支持多种语言和功能。Qwen 模型系列包括从 1.8B 到 72B 参数的模型，涵盖基础语言模型和专门的聊天模型。这些模型在多个基准数据集上展示了优越的性能，适用于多种AI场景，如聊天、内容生成、信息提取、翻译和编程等。

您可以通过这个链接访问 Qwen 的 GitHub 仓库，了解更多详情：Qwen GitHub Repository.

大模型实战—通义千问大模型微调
05-26 7万+
这个参数仅针对 llama 类型的模型结构，默认勾选的是 q_proj 和 v_proj，具体的名词不容易理解，我就不多说了，可以简单的认为是对模型的理解能力进行优化，一般这两个就够了。当这个值较高时，适应新任务的能力会增强，但是对基础模型的影响会比较大，有过拟合的风险，尤其是在数据量有限的情况下。为了方便测试，我在云环境也创建了一个镜像，相关的环境都配置好了，可以直接使用几个国内开源的大语言模型，比如清华智谱的ChatGLM3-6B、零一万物的Yi-34B，还有最近阿里云开源的Qwen1.5-32B。
【通义千问】大模型Qwen GitHub开源工程学习笔记（1）-- 使用指南、依赖库和软件
weixin_46481662的博客
09-26 4115
9月25日，阿里云开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat,免费可商用。官方的技术资料也下载了，看这里==>立马就到了GitHub去fork。
阿里云开源大模型开发环境搭建
wys的专栏
05-01 794
阿里云开源大模型开发环境搭建
开源大模型部署调用指南
携梦问道的博客
12-16 325
2.1 Llama32.2 GLM42.3 阿里-通义千问大模型技术生态。
Qwen（通义千问）模型
彬彬侠的博客
03-07 2436
Qwen（通义千问）是由阿里云开发并于2023年开始发布的大型语言模型（LLM）系列，阿里云发布了多个版本的Qwen：Qwen-7B、Qwen-14B、Qwen-72B、Qwen1.5-110B、Qwen2.5、Qwen1.5-Code，旨在提供高效、开源、可商用的大语言模型，支持文本、代码、数学推理等任务，并在多个基准测试中表现出色。相比GPT-4，Qwen更适合本地部署，优化中文NLP任务。支持Hugging Face transformers直接加载，适用于文本生成、对话、翻译、问答等任务。
教程：A5000 GPU 上运行阿里最新开源大模型 Qwen2
了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识，以及DigitalOcean云平台使用教程
06-13 2646
在本文中，我们将展示使用 Ollama 运行下一代大语言模型阿里 Qwen2 的最简单方法。你将会发现，这个模型在性能上已经超越了 Mistral 和 Llama3。
阿里最强开源大模型本地部署、API调用和WebUI对话机器人
m0_63171455的博客
06-13 4836
老牛同学验证和对比，在文本推理上，Qwen2-7B确实比Llama3-8B要快很多。后续老牛同学中文文本推理相关的API接口，就主要采用更快Qwen2-7B大模型了~
《开源大模型食用指南》发布，7个小时，一杯奶茶速通大模型！
Datawhale
01-08 1340
Datawhale开源开源贡献：Datawhale self-llm团队前 言《开源大模型食用指南》是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生...
阿里通义千问AI模型目前最强的开源中文大语言模型（下载地址）.txt
10-17
通义千问-14B（Qwen-14B） 是阿里云研发的通义千问大模型系列的140亿参数规模的模型。Qwen-14B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络...
调用阿里通义千问大语言模型API-小白新手教程-python
热门推荐
一个学长的博客
01-26 3万+
​ 通义千问是阿里云开发的大语言模型(Large language Model )LLM,旨在提供广泛的知识和普适性，可以理解和回答各领域中的问题，其包含网页版和手机版本的通义前文APP，网页使用的模型为不公开的最新版本。​ 在其官方文档中主要开源了五种可以使用的模型其开源模型的简介和参数如下:​非限时免费开发模型，有使用Token数量的限制。
阿里通义千问：本地部署Qwen1.5开源大模型
m0_37559973的博客
06-06 7318
通义千问为阿里云研发的大语言系列模型。千问模型基于Transformer架构，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在预训练模型的基础之上，使用对齐机制打造了模型的chat版本。
阿里巴巴通义千问大模型源码
09-01
通义千问-7B（Qwen-7B） 是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本...
【AI】通义千问使用指南：让你快速上手，成为问题解决高手！
木头大左的博客
06-19 5469
大家好，我是木头左。近日，继文心一言和讯飞星火之后，阿里虽迟但到，直接宣布开源两款“通义千问”大模型。作为国内首个开源且可商用的人工智能大模型，这会给我们带来哪些变化呢？
通义千问7B和7B-chat模型本地部署复现成功
weixin_74870633的博客
08-21 8646
2小时搞定通义千文7B模型本地部署，复现成功
大模型部署手记（6）通义千问+Jetson AGX Orin
张小白
10-05 4218
大模型部署手记（6）通义千问+Jetson AGX Orin
阿里通义千问，彻底爆了！（本地部署+实测）
终码一生
06-07 3万+
好了，今天的部署测试就到这里。Qwen2相比Qwen1.5实现了重大升级，具有以下特点：5个尺寸的预训练和指令微调模型, 包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B；在中文英语的基础上，训练数据中增加了27种语言相关的高质量数据；多个评测基准上的领先表现；代码和数学能力显著提升；增大了上下文长度支持，最高达到128K tokens（Qwen2-72B-Instruct）。
阿里通义千问_VS_讯飞星火
wshzd的博客
05-18 1112
在角色扮演方面，两个模型都有明显的不足，星火有角色扮演的能力，不过刚开始的文本理解不太正确，后来角色扮演的效果还可以接收；在旅游向导方面，两个模型都给出了旅游建议，他们都有各自明显的特点：星火是“位于{}，是{}”的结构，而通义千问直接给出景点的名称，没有更多描述，在具体位置描述也不太准确。在自我认知方面，星火除了简单介绍自己，还稍微进行了一些扩展，而阿里通义千问给出了更简洁的回答；在介绍优缺点的时候，阿里通义千问更有条理一些。在文案写作方面，星火给出的答案非常不错，而通义千问似乎没有理解#分隔符的意思；
利用阿里通义千问和Semantic Kernel，10分钟搭建大模型知识助手！
成长的足迹
12-21 1862
以上代码我已经放在Github，也欢迎大家知识文档问答工具，用大模型与文档对话，提供Al分析、阅读、问答工具，助你快速了解文档内容。大家有什么问题，欢迎给我留言！- End -
【通义千问】大模型Qwen GitHub开源工程学习笔记（2）--使用Qwen进行推理的示例代码解析，及transformers的使用
weixin_46481662的博客
09-29 3244
在这里，使用了`【GenerationConfig.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True)】`方法，从预训练模型"Qwen/Qwen-7B-Chat"中加载生成配置。在这个代码中，因为我的是3070显卡，因此使用BF16精度，并且通过eval()方法将模型设置为评估模式。注释中提到的"Qwen/Qwen-7B-Chat"和"Qwen/Qwen-14B-Chat"是可选的模型，这意味着你可以根据需求选择不同的预训练模型。
通义千问大语言模型本地微调
最新发布
03-30
<think>好的，用户想了解通义千问大语言模型的本地微调。首先，我需要确定用户的需求是什么。可能他们是想在自己的数据集上调整模型，以适应特定任务或领域。通义千问是阿里云的开源大模型，本地微调通常指在用户自己的服务器或计算资源上进行参数调整，而不是使用云服务。 接下来，我得整理微调的基本概念。微调分为全参数微调和高效微调，比如LoRA。需要解释这些方法的区别和适用场景。用户可能关心硬件需求，比如是否需要GPU，显存要求，这会影响他们的可行性。 然后，本地微调的步骤包括环境准备、数据准备、选择微调方法、配置参数、训练和验证。要详细说明每一步的关键点，比如数据格式要求，可能需要预处理，代码示例是否需要提及Hugging Face库等。 可能用户会遇到的问题包括计算资源不足、过拟合、灾难性遗忘，这些都需要在注意事项里提到。同时，资源链接如ModelScope和Hugging Face的页面要确保正确，方便用户进一步查阅。 要确保回答结构清晰，分点列出，用中文，避免使用Markdown。同时，检查LaTeX是否符合要求，但当前问题可能不需要数学公式，所以暂时不需要处理。最后，保持口语化，但不要使用格式，保持自然流畅的解释。</think>通义千问大语言模型的本地微调是指基于其开源版本，在自有计算环境中对模型参数进行调整以适应特定任务需求的技术过程。以下是关键信息梳理： --- ### **一、本地微调核心要点** 1. **模型基础** 需从阿里云ModelScope或Hugging Face平台获取通义千问开源模型（如Qwen-1.8B/7B/14B等），下载模型权重与配置文件至本地服务器。 2. **硬件要求** - **全参数微调**：需高性能GPU集群（如A100 80G*8），显存需求与模型尺寸正相关 - **高效微调**：使用LoRA/QLoRA等技术时，单卡（如3090 24G）可微调7B级别模型 3. **典型方法** | 方法类型 | 资源消耗 | 修改幅度 | 适用场景 | |---|---|---|---| | 全参数微调 | 高 | 100%参数更新 | 充足算力+领域适配需求强 | | LoRA微调 | 低 | 低秩矩阵注入 | 快速适配+有限算力 | | 提示微调 | 最低 | 仅调整prompt编码 | 小样本学习 | --- ### **二、本地微调实施步骤** 1. **环境准备** ```bash # 示例环境配置 pip install modelscope transformers peft accelerate ``` 2. **数据准备** - 格式要求：JSONL文件，含"instruction"/"input"/"output"字段 - 数据量建议：领域适配至少1k条样本，任务微调需500+条/任务类型 3. **代码框架（以LoRA为例）** ```python from peft import LoraConfig, get_peft_model lora_config = LoraConfig( r=8, lora_alpha=32, target_modules=["q_proj","v_proj"], lora_dropout=0.1, bias="none" ) model = get_peft_model(base_model, lora_config) ``` 4. **关键参数配置** ```python # 典型训练参数 training_args = TrainingArguments( output_dir="./output", per_device_train_batch_size=4, gradient_accumulation_steps=4, learning_rate=3e-4, num_train_epochs=3, fp16=True # A100/V100开启 ) ``` --- ### **三、注意事项** 1. **显存优化技巧** - 启用梯度检查点：`model.gradient_checkpointing_enable()` - 使用4bit量化：`bnb_4bit_quant_type="nf4"` 2. **灾难性遗忘预防** - 保留10%原始预训练数据混合训练 - 控制学习率不超过5e-5 3. **结果验证** - 构建领域专属测试集 - 监控loss曲线与评估指标（如BLEU/ROUGE） --- ### **四、资源指引** 1. 官方文档： - ModelScope模型库：https://modelscope.cn/models/qwen - Hugging Face实现：https://huggingface.co/Qwen 2. 推荐工具： - DeepSpeed：多卡分布式训练加速 - WandB：训练过程可视化监控 本地微调需要根据具体业务需求平衡计算成本与效果提升，建议从LoRA等轻量方法入手逐步验证效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值