2025年 最新大模型微调训练以及推理（Qwen系列）

最新推荐文章于 2025-04-15 23:37:08 发布
最新推荐文章于 2025-04-15 23:37:08 发布
阅读量1k 收藏 7
点赞数 8
分类专栏： Python和人工智能经验之谈 人工智能 SFT 文章标签： Python 人工智能 大模型微调 SFT Qwen
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wtl1992/article/details/145314389
版权

大模型微调训练以及推理

在这里插入图片描述

Qwen 的 github 网址 ： https://github.com/QwenLM/Qwen

我的代码全在github上：Qwen大模型微调技术研究

Qwen/Qwen-1_8B-Chat

Qwen/Qwen-7B-Chat

Qwen/Qwen2-7B-Instruct


了解本专栏 订阅专栏 解锁全文 超级会员免费看
Qwen的github主页 - 介绍
强化学习曾小健
02-08 1932
🤗 Hugging Face | 🤖 ModelScope | 📑 Paper ｜ 🖥️ Demo WeChat (微信) | Discord ｜ API We opensource our Qwen series, now including Qwen, the base language models, namely Qwen-1.8B, Qwen-7B, Qwen-14B, and Qwen-72B, as well as Qwen-Chat, t
【通义千问】大模型Qwen GitHub开源工程学习笔记（1）-- 使用指南、依赖库和软件
weixin_46481662的博客
09-26 4164
9月25日，阿里云开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat,免费可商用。官方的技术资料也下载了，看这里==>立马就到了GitHub去fork。
LLM代码实现-Qwen（下载和调用）
2401_85390073的博客
09-04 1574
Qwen 基础模型已经稳定训练了大规模高质量且多样化的数据，覆盖多语言（当前以中文和英文为主），Qwen 目前有多个版本：1.8B、7B、14B、72B，同时还开源了 Qwen-VL、Qwen-Audio 两款多模态模型。
本地部署 Qwen2.5-VL 最强的开源视觉大模型！完全免费，相当的给力！！
最新发布
Zuozi - 网络从业者长见识就来Zuozi.NET
04-15 781
Qwen2.5-VL 是 Qwen 推出的全新旗舰视觉语言模型，较其前身 Qwen2-VL 有了重大飞跃。该模型不仅能够掌握花、鸟、鱼和昆虫等常见物体的识别，还能分析图像中的复杂文本、图表、图标、图形和布局，为多模态 AI 树立了新标准。此外，Qwen2.5-VL 被设计为高度代理，并且能够进行动态推理和工具指导——无论是在计算机还是手机上使用。该模型的高级功能包括能够理解长度超过一小时的视频、精确定位其中的特定事件，并通过生成边界框或点来准确定位图像中的对象。
Qwen（通义千问）部署量化微调实践
kaka0722ww的博客
11-04 4504
通义千问（Qwen）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。今天我们来对这个模型进行本地部署实践python 3.8及以上版本pytorch 1.12及以上版本，推荐2.0及以上版本建议使用CUDA 11.4及以上（GPU用户、flash-attention用户等需考虑此选项）二三。
Qwen最新开源14B，同级别SOTA，github页面
强化学习曾小健
09-25 1747
通过arXiv数据集上的语言模型实验，我们的原生长度为2K的Qwen-7B/14B在8K的序列长度下依然表现不错，而原生长度扩展到8K的Qwen-7B能够在32K长序列的设置下取得不错的表现。在此基础上，我们针对LLM对接外部系统等方面针对性地做了优化，当前具备较强的工具调用能力，以及最近备受关注的Code Interpreter的能力和扮演Agent的能力。尤其注意，你需要在脚本中指定正确的模型名称或路径、数据路径、以及模型输出的文件夹路径。在他的领导下，公司迅速发展起来，成为了一家成功的科技企业。
解析 Qwen 大模型家族和Qwen-VL系列
u012374012的专栏
03-24 1255
当每个人都在谈论 DeepSeek-R1 在模型推理方面的里程碑时，阿里巴巴的 Qwen 模型却一直被掩盖。尽管没有过多的喧嚣，Qwen 模型凭借其开源特性以及在代理功能方面的独特优势，正悄然崛起。从一开始，Qwen 模型的研发团队就致力于使其具备工具使用等代理能力，这种前瞻性思维使得 Qwen 模型在人工智能领域展现出了独特的潜力。本文将深入探讨 Qwen 模型的发展历程，以及其如何通过 Qwen-Agent 框架实现强大的推理能力，与 OpenAI 和 DeepSeek 等先进模型相媲美甚至超越。
为什么你需要微调国产大模型？Qwen × DeepSeek × Baichuan 微调价值全解析
努力分享一些人工智能相关的知识干货！
04-04 733
本文聚焦 国产大模型微调实战全流程，以 Qwen2.5 为例，结合 LoRA 精调技术，从业务场景剖析、模型选型建议、微调方式对比（LoRA / QLoRA）、训练数据构建，到完整训练脚本与推理部署，全流程演示国产模型精调闭环，助你构建属于自己的“企业知识型模型”。
国产大模型微调准备指南：模型选型 × 数据格式 × 环境配置一次讲清
努力分享一些人工智能相关的知识干货！
04-04 652
从实际落地出发，系统整理微调前你必须搞清楚的三件事： 模型怎么选？（不是“越大越好”） 数据怎么构？（别乱写 json，格式不对模型不学） 环境怎么配？（依赖一堆？显存爆炸？提前防坑）
7、模型微调入门&&如何面对不断更新的大模型
孤独的糖三角
02-11 1046
前面讲 RAG 时，我们说过，它本质上是让大模型知道更多的东西，尤其是属于你自己业务领域的东西。当时我们就说，RAG 只是其中的一种选择，还有另外一种选择，就是模型微调。这一讲，我们就来使用llamafactory对qwen2.5:3b进行模型微调，然后ollama调用微调后的模型。再未来，我们会更深入的对微调进行研究。
【通义千问】大模型Qwen GitHub开源工程学习笔记（3）-- 通过Qwen预训练语言模型自动完成给定的文本
weixin_46481662的博客
09-30 2357
实例代码展示了如何使用预训练模型完成文本生成任务，例如在这个例子中，根据已知的国家和首都信息，预测未知的首都。
使用开源通义千问模型（Qwen）搭建自己的大模型服务
HDF734839030的专栏
01-08 4296
1、使用开源的大模型服务搭建属于自己的模型服务；2、调优自己的大模型；
本地部署 Qwen-Agent
engchina的专栏
10-04 4504
本地部署 Qwen-Agent
【大模型】微调Qwen1.8B
Dong_ZH的博客
02-21 3220
使用地址数据微调Qwen1.8B。Qwen提供了预构建的Docker镜像，在使用时获取镜像只需安装驱动、下载模型文件即可启动Demo、部署OpenAI API以及进行微调。获取方式：docker pull qwenllm/qwen:cu117。
【通义千问】大模型Qwen GitHub开源工程学习笔记（4）-- 模型的量化与离线部署
weixin_46481662的博客
10-13 2695
量化方案基于AutoGPTQ，提供了Int4量化模型，其中包括Qwen-7B-Chat和Qwen-14B-Chat。更新承诺在模型评估效果几乎没有损失的情况下，降低存储要求并提高推理速度。量化是指将模型权重和激活的精度降低以节省存储空间并提高推理速度的过程。AutoGPTQ是一种专有量化工具。Int4是指4位整数量化，与传统的8位量化相比，可以进一步减少存储要求。
微调大模型-2-Qwen基座模型使用
大AI时代，人性化的信息更加难得可贵
10-24 283
学会基座模型的使用是重要的一步
阿里 通义千问LLM Qwen-7B-Chat与Qwen-VL-Chat 使用；国内huggingface模型下载
weixin_42357472的博客
09-04 4061
参考： https://github.com/QwenLM/Qwen-7B https://github.com/QwenLM/Qwen-VL下载模型： https://huggingface.co/Qwen 下载好代码与模型后运行： 下载好代码与模型后运行：运行QwenQwen-VL-Chat-Int4 大概需要15G显卡：（运行报错基本可以对应升级包的库即可 accelerate、peft等）
Qwen 通义千问 - 小记
AI工程化、开源分享、文档翻译、代码笔记
01-23 5179
Qwen不仅仅是一个语言模型，而是一个致力于实现通用人工智能（AGI）的项目，目前包含大型语言模型（LLM）和大型多模态模型（LMM）用户可以在官网直接体验模型功能，开发者可以通过网页嵌入、API/SDK调用等方式，将模型能力集成到自己的大模型应用和服务中。截至2024年初，通义已经发展成一个大模型家族，成员涵盖基座模型、行业模型和通义千问APP等模型产品。大语言模型“通义千问”和AI绘画创作大模型“通义万相”是两大基座模型。8大行业模型面向垂直场景，使用领域数据进行专门训练。
【从零开始系列】Qwen2.5 & Llama-Factory：开源语言大模型+训练平台——（超详细、最新版）一篇文章解决：环境搭建 =＞ 微调训练 =＞ 本地部署
qq_58718853的博客
01-13 5864
使用llama-factory大语言模型微调高效平台，对qwen2.5官方预训练模型进行微调并部署
AI大模型微调工具包：Qwen2与GLM4指令实践
资源摘要信息:"大语言模型微调，Qwen2、GLM4指令微调.zip" 该资源包涉及了人工智能领域，特别是自然语言处理中的大语言模型微调技术。微调是机器学习领域中的一个重要概念，指的是在预训练模型的基础上，使用特定...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIOTASMCPA2A

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值