11、LLaMA-Factory自定义数据集微调

已于 2025-01-13 09:44:44 修改
阅读量1.1w 收藏 85
点赞数 26
分类专栏： 大模型学习 文章标签： llama LLaMA-Factory 大模型微调 自定义数据集
于 2024-09-06 15:05:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Andy_shenzl/article/details/141958132
版权

1、数据集定义

  针对实际的微调需求，使用专门针对业务垂直领域的私有数据进行大模型微调才是我们需要做的。因此，我们需要探讨如何在LLaMA-Factory项目及上述创建的微调流程中引入自定义数据集进行微调。**对于LLaMA-Factory项目，目前仅支持两种格式的数据集：alpaca 和 sharegpt。

1.1 alpaca

alpaca 格式的数据集按照以下方式组织：

[
  {
   
    "instruction": "用户指令（必填）",
    "input":
了解本专栏 订阅专栏 解锁全文 超级会员免费看
9、LLaMA-Factory项目微调介绍
Andy_shenzl的博客
08-28 2673
LLaMA Factory是一个在GitHub上开源的项目，该项目给自身的定位是：提供一个易于使用的大语言模型（LLM）微调框架，支持LLaMA、Baichuan、Qwen、ChatGLM等架构的大模型。更细致的看，该项目提供了从预训练、指令微调到RLHF阶段的开源微调解决方案。截止目前（2024年3月1日）支持约120+种不同的模型和内置了60+的数据集，同时封装出了非常高效和易用的开发者使用方法。
llama-factory SFT系列教程 (二)，大模型在自定义数据集 lora 训练与部署
热门推荐
jieshenai的博客
04-12 1万+
本文为 llama-factory SFT系列教程的第二篇；实现了在自定义数据集上 lora 微调大模型；接着融合lora权重进行大模型推理的功能
LLaMA-Factory部署、自定义数据集、模型微调、模型调用（NVIDIA）
xin_yao_xin的博客
03-17 2388
具体用什么数据集要看自己的具体需求，我采用的是Alpaca 格式，需要将配置文件放到data目录下，并在LLaMA-Factory|微调大语言模型初探索(2)，训练自己的聊天机器人_ai 训练 数据集 参数 说明 "instruction":"","input":"""output-CSDN博客。
LLaMA-Factory 数据集成从入门到精通
黎明鱼儿
04-07 1139
LLaMA-Factory 框架通过Alpaca/Sharegpt双格式体系实现多任务适配，其中Alpaca专注结构化指令微调（含SFT/DPO/预训练），Sharegpt支持多角色对话及多模态数据集成。核心配置依托 dataset_info.json 实现数据源映射、格式定义（formatting）、列名绑定（columns）及角色标签（tags）设置，需特别注意多模态路径与文本标记的严格匹配。优先级规则遵循：云端仓库 > 本地脚本 > 文件直读，配置时须规避角色标签冲突和路径验证疏漏等常见误区。
【大模型】llama-factory基础学习
idiotyi的博客
08-08 1271
llama-factory支持json格式文件，自定义数据集中每条数据格式如下：“prompt”: “介绍一下苹果”,“response”: “苹果公司（Apple Inc.），是一家美国跨国科技公司，总部位于加利福尼亚州库比蒂诺。"demo": {demo是映射后使用的数据集别名，file_name是数据集路径，file_sha1不是必需的，但是可以缓存预处理后的数据集，避免二次训练时重新预处理，sha1的生成可以通过终端运行shasum -a 1 filename（linux命令）
llama-factory-llama3微调中文数据集
weixin_40777649的博客
06-27 1431
基准模型测试opencompass 离线测评数据准备微调训练合并测试人工审核对比。
自定义数据集使用llama_factory微调模型并导入ollama
weixin_53162188的博客
04-14 1万+
本文所有操作均在linux系统下完成。
LLama-Factory大模型训练框架，基于自己数据集微调qwen7B模型实战
dream_home8407的博客
07-04 3258
LLama-Factory，大模型训练框架，支持多种模型，多种训练方式，link。
使用 LoRA 和 QLoRA 技术，通过自定义数据集微调 LLAMA 2 的分步教程
krishnaik06的博客
08-16 170
这段文字介绍了一位博主将会制作的关于如何使用自定义数据集微调大型语言模型 (LLM) 的视频系列。视频将首先展示如何使用参数高效迁移学习和低秩自适应（Laura）技术来微调 Llama 2 模型。 视频将涵盖以下内容： 实际操作： 提供代码模板，演示数据预处理、量化等步骤。 理论基础： 在后续视频中，将解释参数高效迁移学习和低秩自适应的理论概念，包括 Clara 技术。 联系理论与实践： 将理论...
使用llama-factory框架对自定义数据集进行微调
最新发布
deeping games
04-30 339
整个过程感觉非常流畅，基本没有报错问题。支持llamafactory！！
llama-factory一个数据微调用例
05-26
"llama-factory"是一个数据微调的工具或平台，主要与LoRa（Long Range）技术相关，这是一项低功耗广域网通信技术，常用于物联网(IoT)应用。在给定的文件列表中，我们可以看到以下几个关键文件： 1. **dataset_info....
LLaMA-Factory训练数据集
Mooczx的博客
09-22 2259
dataset_info.json 包含了所有经过预处理的 本地数据集 以及 在线数据集。如果您希望使用自定义数据集，请 务必 在 dataset_info.json 文件中添加对数据集及其内容的描述，并通过修改 dataset: 数据集名称 配置来使用数据集。
【04】LLaMA-Factory微调大模型——数据准备
H66778899的博客
07-18 5889
【04】LLaMA-Factory微调大模型——数据准备
llama-factory || AutoDL || 如何使用自己的数据集进行微调
失眠的树的博客
03-04 619
3.修改LLaMA-Factory下的data文件夹中dataset_info.json中的内容。例如，FB15k-237-subset_train_size_1000.json。2.将数据集上传至LLaMA-Factory下的data文件夹。4.启动llama-factory的webui界面。1.准备好json格式数据集。5.设置模型和数据集。
大模型开发和微调工具Llama-Factory--＞数据处理
weixin_46034279的博客
12-01 2502
包含了所有经过处理的 本地数据集 和 在线数据集。如果使用本地数据集， 务必在中添加对应数据集及其内容的定义目前支持Alpaca格式 和ShareGPT的格式。
【精调】LLaMA-Factory 快速开始3: 自定义个一个alpaca 数据集并训练
突围
02-21 206
alpaca
山东大学项目实训（十三）:使用LLaMA-Factory进行微调的数据集设置与基本流程
m0_74379991的博客
06-24 822
LLaMA-Factory是一个非常好用的开源的无代码微调框架，在模型微调方式、参数配置、数据集设置、模型保存、模型合并、模型测试以及模型试用上，提供了非常完备的开发接口。下面是对微调全过程（数据集篇）的一个记录。
llama factory 参数体系EvaluationArguments、DataArguments、FinetuningArguments、FreezeArguments、LoraArgument
weixin_41046245的博客
03-13 6344
类是一个Python数据类，用于存储和管理与PPO（Proximal Policy Optimization）和DPO（Deep Policy Optimization）训练相关的参数。类是一个Python数据类，用于存储和管理与指定解码参数相关的参数。类是一个Python数据类，用于存储和管理与训练和评估机器学习模型输入数据相关的参数。这个类的设计是为了方便地处理和传递命令行参数或配置文件中的参数，这些参数通常用于指定模型训练过程中的各种设置。的 Python 类，该类用于处理与模型微调相关的参数。
大模型微调：使用LLaMA-Factory进行大模型微调
huang9604的博客
11-23 979
在人工智能领域，大模型微调是一个热门话题，尤其是在自然语言处理（NLP）领域。本文将介绍大模型中的instruct、chat和base模型的不同点，探讨常见的微调框架，并分享我所使用的微调框架及其GitHub地址，最后详细介绍我的微调步骤。
llama-factory自定义数据集
02-13
### 使用自定义数据集在 llama-factory 中进行 LoRA 微调 为了使用自定义数据集在 `llama-factory` 进行训练或推理，需遵循特定流程来准备环境并执行命令。 #### 准备工作 确保已安装必要的依赖库，并设置好 Python 环境。对于本地使用的场景，按照官方文档完成初步配置[^2]。 #### 数据预处理 创建适合模型输入的数据文件。通常情况下，这涉及将原始文本转换成 JSONL 或 CSV 文件格式，每条记录代表一次对话交互或者单句输入。具体结构取决于所选基础模型的要求。 #### 配置参数 编辑 YAML 配置文件（如 `examples/train_lora/mytrain_lora_sft.yaml`），指定要加载的基础模型名称以及指向自定义数据集的位置。当仅提供模型名而不给出完整路径时，通过设定环境变量 `export USE_MODELSCOPE_HUB=1` 可使程序正常识别远程仓库中的资源[^3]。 ```yaml # mytrain_lora_sft.yaml 示例片段 model_name_or_path: "qwen/Qwen-7B" dataset_dir: "./path/to/your/custom_dataset/" output_dir: "./outputs/lora_finetuned_model/" per_device_train_batch_size: 8 num_train_epochs: 3 learning_rate: 5e-5 ``` #### 启动训练过程 利用 CLI 工具启动微调作业： ```bash lora 指令微调 llamafactory-cli train examples/train_lora/mytrain_lora_sft.yaml ``` 此命令会读取给定的配置文件，并基于其中定义的各项超参对选定的大规模语言模型实施低秩适应（LoRA）调整，从而优化其针对特定领域任务的表现效果[^1]。 #### 推理阶段 一旦训练结束，在新环境中部署经过改进后的模型之前，建议先测试几个样本案例以验证性能提升情况。可以采用如下方式快速评估： ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("./outputs/lora_finetuned_model/") model = AutoModelForCausalLM.from_pretrained("./outputs/lora_finetuned_model/") input_text = "编写一段关于..." inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ```
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Andy_shenzl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值