(LLaMa Factory)大模型训练方法--准备模型（Qwen2-0.5B）

最新推荐文章于 2025-03-27 19:49:13 发布

风起晨曦

最新推荐文章于 2025-03-27 19:49:13 发布

阅读量603

点赞数 1

文章标签： llama

本文链接：https://blog.csdn.net/weixin_63373973/article/details/145653823

版权

1、准备训练框架

LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架。

2、运行环境要求

硬件：
- GPU：推荐使用24GB显存的显卡或者更高配置
软件：
- python：3.10
- pytorch：2.1.2 + cuda12.1
- 操作系统：Ubuntu 22.04

3、准备训练模型

在开展大模型训练之前，由于我们不能从零开始训练一个大模型(时间及资源都不允许！)，所以我们需要选择一个已经训练好的模型，作为基础模型进行训练。在ModelScope平台，我们选择Qwen2-0.5B模型作为底座模型。

#下载模型至LLaMA-Factory下的models目录
git clone https://www.modelscope.cn/qwen/Qwen2-0.5B.git /mnt/workspace/LLaMA-Factory/

模型位置如下：
LLaMA-Factory/
|-models/
    |-Qwen2-0.5B/

4、验证模型

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

风起晨曦

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

【Qwen2微调实战】LLaMA-Factory框架对Qwen2-7B模型的微调实践

寻道AI，探索AI无限可能！

07-29

1万+

在人工智能的浪潮中，大型语言模型（LLMs）正逐渐成为研究和应用的热点。它们在自然语言处理（NLP）的各个领域，如文本生成、翻译、问答等任务中展现出了卓越的能力。Qwen2-7B模型，作为该领域的佼佼者，不仅因其庞大的参数量和强大的表示能力受到关注，更因其在微调后能够更好地适应特定任务而备受关注。本文将详细介绍如何利用LLaMA-Factory这一高效的微调框架对Qwen2-7B进行微调，以期达到提升模型在特定任务上的表现。

LLaMA Factory单机微调的实战教程

最新发布

AI与算法都要通俗易懂

03-27

628

预训练大模型在训练过程中，虽然学到了很多通用知识，但是很多时候，大模型本身并不能在专业领域表现得非常好。比如你让 Qwen 模型回答“量子力学中的叠加态是什么”，它可能会给出一个笼统的解释，但要是让模型严格按照某一格式（比如论文格式）回答时，可能就不太行。除非你在上下文聊天中给他一些例子让他先自我学习。这也被称为“上下文学习能力 + Few-shot”的方式，但这并不改变模型的本质。一旦你切换了与模型聊天的上下文，模型又会恢复到它原来的样子。

(LLaMa Factory)大模型训练方法--监督微调（Qwen2-0.5B）

weixin_63373973的博客

02-15

762

根据以上的数据格式，我们在ModelScope的数据集找到中文医疗对话数据-Chinese-medical-dialogue符合上述格式。LLaMA-Factory是一个开源的、可自定义的、可扩展的、可部署的、可训练的大模型训练平台。根据训练阶段配置训练参数，包括模型名称、模型路径、训练方法、数据集、输出目录等；按照LLaMA-Factory官方README文档的数据格式，准备训练数据；的数据格式有多种，例如：Alpaca格式、OpenAI格式等。预览训练命名无误后，启动训练。

本地模型Qwen2-0.5B-Instruct结合faiss实现RAG

NLPnoproble的博客

08-06

1046

print(f"与查询文本相似度最高的文本是: {texts[max_similarity_idx]}")# print(f"与查询文本相似度最高的文本是: {texts[max_similarity_idx1]}")print(f"文本 {i + 1} 与查询文本的相似度: {similarity:.4f}")print(f"与查询文本相似度最高的文本是: {texts[max_similarity_idx]}")下面需要注意的是数据只能是TXT文本，如果需要其他格式的要你自己改。

Qwen 模型与 LlamaFactory 结合训练详细步骤教程

雨落

03-07

1210

准备硬件和操作系统：确保满足硬件和软件要求。安装依赖：包括 Python、Git、NVIDIA 驱动和 CUDA。克隆代码库：从 GitHub 获取 LlamaFactory 的源码。配置 Python 环境：创建虚拟环境并安装依赖。下载 Qwen 模型权重：获取并解压预训练模型。修改代码支持 Qwen：调整模型加载和训练逻辑。准备训练数据：整理并预处理数据。启动训练：运行训练脚本并监控进度。测试训练结果：加载模型并验证性能。

【机器学习】Qwen2大模型原理、训练及推理部署实战

人工智能领域博客

06-10

2万+

本文首先对Qwen2模型概述以及模型架构进行讲解，接着基于llama_factory命令行的方式进行模型训练演示，最后基于hf transformers进行模型推理的讲解。过程中排了好几个坑，呈上的代码保证在国内网络环境下是可运行的。希望能帮助到大家

(LLaMa Factory)大模型训练方法--预训练（Qwen2-0.5B）

weixin_63373973的博客

02-15

1155

❗由于大模型的预训练需要数千个GPU并持续数月的时间，所以一般情况下实际工作中并不会涉及到预训练，本篇文章我们只做的简单流程体验。：LLaMa-Factory的Github上有训练数据格式的详细说明，请见README_zh。: 在 LLaMa-Factory的WebUI界面上，选择Dataset为。：在saves/Qwen2-0.5B/full目录下,可以查看到。中按照以下格式注册自定义的数据集。预览命令行无误后，点击。

【03】LLaMA-Factory微调大模型——多模型部署

H66778899的博客

07-17

3326

【03】LLaMA-Factory微调大模型——多模型部署

一文讲透大模型 Qwen2 的训练与推理

2401_84033492的博客

06-29

3286

通义千问最近问鼎开源模型Top 1 ，今天我来分享一下Qwen2系列模型，Qwen2系列模型是Qwen1.5系列模型的重大升级。包括了：5个尺⼨的预训练和指令微调模型, 包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B；在中⽂英语的基础上，训练数据中增加了27种语⾔相关的⾼质量数据；多个评测基准上的领先表现；代码和数学能⼒显著提升；增⼤了上下⽂⻓度⽀持，最⾼达到128K tokens（Qwen2-72B-Instruct）。

Qwen2大语言模型微调、导出、部署实践

liguiyuan的博客

06-16

3303

上篇文章：我们介绍了Qwen1.5 大语言模型使用LLaMA-Factory 来微调，这篇文章我们介绍一下微调后模型的导出、部署。

【ollama】（7）：使用Nvidia Jetson Nano设备，成功运行ollama，运行qwen:0.5b-chat，速度还可以，可以做创新项目了

freewebsys的专栏

03-16

2237

【代码】【无标题】在jetson上安装 ollama。

LLM实验初体验：linux系统部署大模型qwen1.5-0.5b、qwen2.0

jyf1_的博客

05-28

3482

LLM部署实验

内网环境使用Docker部署Qwen2模型

weixin_44455388的博客

06-21

3115

在我参与的一个国企项目中，我们基于大语言模型开发了一些应用，但是甲方公司所有的资源环境都是纯内网。更为有趣的是，甲方公司已自主搭建并运行着一套百度机器学习平台（BML），客户要求所有的大模型部署必须依托于现有的BML平台进行，而非独立构建全新的基础设施，资源申请也相当严苛。面对这一系列限定条件，我们只能试着利用Docker容器技术进行大语言模型的部署。

基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）

老牛啊

07-20

3556

本教程详细介绍了 LoRA 参数高效微调技术，包括数据集准备和处理、模型加载、参数设置等，然后以 Qwen2-0.5B 预训练模型实践，进行了文本分类能力微调，微调过程通过 SwanLab 可视化界面查看，最终微调模型进行测试数据评估……

基于 Qwen2.5-0.5B 微调训练 Ner 命名实体识别任务

小毕超博客

09-30

5367

Qwen2.5 是 Qwen 大型语言模型的最新系列，参数范围从 0.5B 到 72B 不等。大大提高了编码和数学能力。在指令跟随、生成长文本（超过 8K 个标记）、理解结构化数据（例如表格）以及生成结构化输出（尤其是 JSON）方面有了显著改进。

【国产AI大模型】Qwen2：从部署到应用的全面指南

2401_85325557的博客

01-03

1339

在人工智能的浪潮中，大模型以其卓越的处理能力和应用潜力，成为技术革新的核心。阿里云推出的Qwen2，一款新一代开源大模型，以其性能和开源性在AI界迅速崛起。 Qwen2在代码生成、数学问题解决、逻辑推理等领域表现卓越，尤其在长文本处理和多语言支持上取得突破。它为开发者和研究者提供了探索新AI应用的平台。

llama-factory微调qwen2-vl

02-12

### 使用 LLaMA-Factory 微调 Qwen2-VL 模型 #### 设置环境为了成功微调 Qwen2-VL 模型，首先需要安装并配置好 LLaMA-Factory 的开发环境。这通常涉及创建虚拟环境、安装依赖库以及下载预训练模型权重文件[^1]。 ```bash git clone https://github.com/your-repo/llama-factory.git cd llama-factory pip install -r requirements.txt ``` #### 配置训练参数接下来要定义具体的训练超参，比如批次大小(batch size)、学习率(learning rate)，以及其他可能影响收敛性的因素。这些都可以通过修改 `config.yaml` 文件来调整。对于大多数情况，默认值已经能够提供不错的效果；但对于特定应用场景，则建议根据实际情况做适当优化。 #### 数据准备准备好用于微调的数据集非常重要。确保数据已经被清洗干净，并转换成适合输入给定架构的形式。如果使用的是图像-文本对作为输入形式的话，还需要额外注意图片尺寸标准化等问题。此外，也可以考虑采用一些增强技术提高泛化能力。 #### 启动微调过程当一切就绪之后就可以启动实际的微调流程了。这里给出一个简单的命令行例子展示如何指定路径和其他必要选项： ```bash CUDA_VISIBLE_DEVICES=0,1 python train.py \ --model_name_or_path /path/to/pretrained/model \ --train_file /path/to/training/data.jsonl \ --output_dir ./results \ --do_train \ --per_device_train_batch_size 8 \ --num_train_epochs 3 \ --save_strategy epoch \ --logging_dir ./logs \ --logging_steps 10 ``` 上述脚本假设读者拥有至少两张 GPU 卡来进行分布式训练以加速整个过程。当然，具体参数可以根据硬件条件和个人需求灵活变动。 #### 多GPU支持与LoRA应用实例针对多GPU场景下的高效训练，可以借助 PyTorch 提供的相关工具轻松实现。另外值得注意的是，在某些情况下还可以引入低秩自适应 (Low-Rank Adaptation, LoRA)[^2] 技术进一步提升性能表现而不显著增加计算成本。 ```bash CUDA_VISIBLE_DEVICES=1 llamafactory-cli webchat \ --model_name_or_path [your path]/llm/Qwen/Qwen2-VL-7B-Instruct/ \ --adapter_name_or_path [your path]/llm/LLaMA-Factory/saves/qwen2_vl-7b/lora/sft-2/ \ --finetuning_type lora ``` 此段代码展示了如何加载已有的 LoRA 权重并对新任务快速适配。