使用 LLaMA-Factory 微调

已于 2024-12-03 13:51:35 修改
阅读量1.3k 收藏 10
点赞数 15
分类专栏： 大模型 文章标签： 人工智能 llama_factory
于 2024-12-03 12:03:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mooczx/article/details/143799036
版权 
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .
pip install tf-keras

[dataset_info.json](dataset_info.json) 包含了所有可用的数据集。如果您希望使用自定义数据集，请**务必**在 `dataset_info.json` 文件中添加*数据集描述*，并通过修改 `dataset: 数据集名称` 配置来使用数据集。

目前我们支持 **alpaca** 格式和 **sharegpt** 格式的数据集。

```json
"数据集名称": {
  "hf_hub_url": "Hugging Face 的数据集仓库地址（若指定，则忽略 script_url 和 file_name）",
  "ms_hub_url": "ModelScope 的数据集仓库地址（若指定，则忽略 script_url 和 file_name）",
  "script_url": "包含数据加载脚本的本地文件夹名称（若指定，则忽略 file_name）",
  "file_name": "该目录下数据集文件夹或文件的名称（若上述参数未指定，则此项必需）",
  "formatting": "数据集格式（可选，默认：alpaca，可以为 alpaca 或 sharegpt）",
  "ranking": "是否为偏好数据集（可选，默认：False）",
  "subset": "数据集子集的名称（可选，默认：None）",
  "split": "所使用的数据集切分（可选，默认：train）",
  "folder": "Hugging Face 仓库的文件夹名称（可选，默认：None）",
  "num_samples": "该数据集所使用的样本数量。（可选，默认：None）",
  "columns（可选）": {
    "prompt": "数据集代表提示词的表头名称（默认：instruction）",
    "query": "数据集代表请求的表头名称（默认：input）",
    "response": "数据集代表回答的表头名称（默认：output）",
    "history": "数据集代表历史对话的表头名称（默认：None）",
    "messages": "数据集代表消息列表的表头名称（默认：conversations）",
    "system": "数据集代表系统提示的表头名称（默认：None）",
    "tools": "数据集代表工具描述的表头名称（默认：None）",
    "images": "数据集代表图像输入的表头名称（默认：None）",
    "videos": "数据集代表视频输入的表头名称（默认：None）",
    "chosen": "数据集代表更优回答的表头名称（默认：None）",
    "rejected": "数据集代表更差回答的表头名称（默认：None）",
    "kto_tag": "数据集代表 KTO 标签的表头名称（默认：None）"
  },
  "tags（可选，用于 sharegpt 格式）": {
    "role_tag": "消息中代表发送者身份的键名（默认：from）",
    "content_tag": "消息中代表文本内容的键名（默认：value）",
    "user_tag": "消息中代表用户的 role_tag（默认：human）",
    "assistant_tag": "消息中代表助手的 role_tag（默认：gpt）",
    "observation_tag": "消息中代表工具返回结果的 role_tag（默认：observation）",
    "function_tag": "消息中代表工具调用的 role_tag（默认：function_call）",
    "system_tag": "消息中代表系统提示的 role_tag（默认：system，会覆盖 system column）"
  }
}
```

## Alpaca 格式

### 指令监督微调数据集  SFT

- [样例数据集](alpaca_zh_demo.json)

在指令监督微调时，`instruction` 列对应的内容会与 `input` 列对应的内容拼接后作为人类指令，即人类指令为 `instruction\ninput`。而 `output` 列对应的内容为模型回答。

如果指定，`system` 列对应的内容将被作为系统提示词。

`history` 列是由多个字符串二元组构成的列表，分别代表历史消息中每轮对话的指令和回答。注意在指令监督微调时，历史消息中的回答内容**也会被用于模型学习**。

```json
[
  {
    "instruction": "人类指令（必填）",
    "input": "人类输入（选填）",
    "output": "模型回答（必填）",
    "system": "系统提示词（选填）",
    "history": [
      ["第一轮指令（选填）", "第一轮回答（选填）"],
      ["第二轮指令（选填）", "第二轮回答（选填）"]
    ]
  }
]
```

对于上述格式的数据，`dataset_info.json` 中的*数据集描述*应为：

```json
"数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "response": "output",
    "system": "system",
    "history": "history"
  }
}
```

### 预训练数据集 CPT

- [样例数据集](c4_demo.json)

在预训练时，只有 `text` 列中的内容会用于模型学习。

```json
[
  {"text": "document"},
  {"text": "document"}
]
```

对于上述格式的数据，`dataset_info.json` 中的*数据集描述*应为：

```json
"数据集名称": {
  "file_name": "data.json",
  "columns": {
    "prompt": "text"
  }
}
```

### 偏好数据集 DPO

偏好数据集用于奖励模型训练、DPO 训练、ORPO 训练和 SimPO 训练。

它需要在 `chosen` 列中提供更优的回答，并在 `rejected` 列中提供更差的回答。

```json
[
  {
    "instruction": "人类指令（必填）",
    "input": "人类输入（选填）",
    "chosen": "优质回答（必填）",
    "rejected": "劣质回答（必填）"
  }
]
```

对于上述格式的数据，`dataset_info.json` 中的*数据集描述*应为：

```json
"数据集名称": {
  "file_name": "data.json",
  "ranking": true,
  "columns": {
    "prompt": "instruction",
    "query": "input",
    "chosen": "chosen",
    "rejected": "rejected"
  }
}
```

### KTO 数据集

KTO 数据集需要提供额外的 `kto_tag` 列。详情请参阅 [sharegpt](#sharegpt-格式)。

### 多模态图像数据集

多模态图像数据集需要提供额外的 `images` 列。详情请参阅 [sharegpt](#sharegpt-格式)。

### 多模态视频数据集

多模态视频数据集需要提供额外的 `videos` 列。详情请参阅 [sharegpt](#sharegpt-格式)。

## Sharegpt 格式

### 指令监督微调数据集 SFT

- [样例数据集](glaive_toolcall_zh_demo.json)

相比 alpaca 格式的数据集，sharegpt 格式支持**更多的角色种类**，例如 human、gpt、observation、function 等等。它们构成一个对象列表呈现在 `conversations` 列中。

注意其中 human 和 observation 必须出现在奇数位置，gpt 和 function 必须出现在偶数位置。

```json
[
  {
    "conversations": [
      {
        "from": "human",
        "value": "人类指令"
      },
      {
        "from": "function_call",
        "value": "工具参数"
      },
      {
        "from": "observation",
        "value": "工具结果"
      },
      {
        "from": "gpt",
        "value": "模型回答"
      }
    ],
    "system": "系统提示词（选填）",
    "tools": "工具描述（选填）"
  }
]
```

对于上述格式的数据，`dataset_info.json` 中的*数据集描述*应为：

```json
"数据集名称": {
  "file_name": "data.json",
  "formatting": "sharegpt",
  "columns": {
    "messages": "conversations",
    "system": "system",
    "tools": "tools"
  }
}
```

### 预训练数据集 CPT

尚不支持，请使用 [alpaca](#alpaca-格式) 格式。

### 偏好数据集

- [样例数据集](dpo_zh_demo.json)

Sharegpt 格式的偏好数据集同样需要在 `chosen` 列中提供更优的消息，并在 `rejected` 列中提供更差的消息。

```json
[
  {
    "conversations": [
      {
        "from": "human",
        "value": "人类指令"
      },
      {
        "from": "gpt",
        "value": "模型回答"
      },
      {
        "from": "human",
        "value": "人类指令"
      }
    ],
    "chosen": {
      "from": "gpt",
      "value": "优质回答"
    },
    "rejected": {
      "from": "gpt",
      "value": "劣质回答"
    }
  }
]
```

对于上述格式的数据，`dataset_info.json` 中的*数据集描述*应为：

```json
"数据集名称": {
  "file_name": "data.json",
  "formatting": "sharegpt",
  "ranking": true,
  "columns": {
    "messages": "conversations",
    "chosen": "chosen",
    "rejected": "rejected"
  }
}
```

### KTO 数据集

- [样例数据集](kto_en_demo.json)

KTO 数据集需要额外添加一个 `kto_tag` 列，包含 bool 类型的人类反馈。

```json
[
  {
    "conversations": [
      {
        "from": "human",
        "value": "人类指令"
      },
      {
        "from": "gpt",
        "value": "模型回答"
      }
    ],
    "kto_tag": "人类反馈 [true/false]（必填）"
  }
]
```

对于上述格式的数据，`dataset_info.json` 中的*数据集描述*应为：

```json
"数据集名称": {
  "file_name": "data.json",
  "formatting": "sharegpt",
  "columns": {
    "messages": "conversations",
    "kto_tag": "kto_tag"
  }
}
```

### 多模态图像数据集

- [样例数据集](mllm_demo.json)

多模态图像数据集需要额外添加一个 `images` 列，包含输入图像的路径。

注意图片的数量必须与文本中所有 `<image>` 标记的数量严格一致。

```json
[
  {
    "conversations": [
      {
        "from": "human",
        "value": "<image>人类指令"
      },
      {
        "from": "gpt",
        "value": "模型回答"
      }
    ],
    "images": [
      "图像路径（必填）"
    ]
  }
]
```

对于上述格式的数据，`dataset_info.json` 中的*数据集描述*应为：

```json
"数据集名称": {
  "file_name": "data.json",
  "formatting": "sharegpt",
  "columns": {
    "messages": "conversations",
    "images": "images"
  }
}
```

### 多模态视频数据集

- [样例数据集](mllm_video_demo.json)

多模态视频数据集需要额外添加一个 `videos` 列，包含输入视频的路径。

注意视频的数量必须与文本中所有 `<video>` 标记的数量严格一致。

```json
[
  {
    "conversations": [
      {
        "from": "human",
        "value": "<video>人类指令"
      },
      {
        "from": "gpt",
        "value": "模型回答"
      }
    ],
    "videos": [
      "视频路径（必填）"
    ]
  }
]
```

对于上述格式的数据，`dataset_info.json` 中的*数据集描述*应为：

```json
"数据集名称": {
  "file_name": "data.json",
  "formatting": "sharegpt",
  "columns": {
    "messages": "conversations",
    "videos": "videos"
  }
}
```

### OpenAI 格式

OpenAI 格式仅仅是 sharegpt 格式的一种特殊情况，其中第一条消息可能是系统提示词。

```json
[
  {
    "messages": [
      {
        "role": "system",
        "content": "系统提示词（选填）"
      },
      {
        "role": "user",
        "content": "人类指令"
      },
      {
        "role": "assistant",
        "content": "模型回答"
      }
    ]
  }
]
```

对于上述格式的数据，`dataset_info.json` 中的*数据集描述*应为：

```json
"数据集名称": {
  "file_name": "data.json",
  "formatting": "sharegpt",
  "columns": {
    "messages": "messages"
  },
  "tags": {
    "role_tag": "role",
    "content_tag": "content",
    "user_tag": "user",
    "assistant_tag": "assistant",
    "system_tag": "system"
  }
}
```
笔者这里建议先CPT >>>>SFT(通用领域+专业领域)>>>>DPO

11、LLaMA-Factory自定义数据集微调
Andy_shenzl的博客
09-06 1万+
针对实际的微调需求，使用专门针对业务垂直领域的私有数据进行大模型微调才是我们需要做的。因此，我们需要探讨如何在LLaMA-Factory项目及上述创建的微调流程中引入自定义数据集进行微调。alpaca和sharegpt。
LLM - 使用 LLaMA-Factory 微调 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)
AGI
11-12 2834
LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。
大模型开发和微调工具Llama-Factory--＞数据处理
weixin_46034279的博客
12-01 2369
包含了所有经过处理的 本地数据集 和 在线数据集。如果使用本地数据集， 务必在中添加对应数据集及其内容的定义目前支持Alpaca格式 和ShareGPT的格式。
LLaMA-Factory部署、自定义数据集、模型微调、模型调用（NVIDIA）
最新发布
xin_yao_xin的博客
03-17 1588
具体用什么数据集要看自己的具体需求，我采用的是Alpaca 格式，需要将配置文件放到data目录下，并在LLaMA-Factory|微调大语言模型初探索(2)，训练自己的聊天机器人_ai 训练 数据集 参数 说明 "instruction":"","input":"""output-CSDN博客。
数据集准备
m0_67876774的博客
06-24 2153
"第一轮指令（选填）", "第一轮回答（选填）"],["第二轮指令（选填）", "第二轮回答（选填）"]"instruction": "人类指令（必填）","system": "系统提示词（选填）","system": "系统提示词（选填）","output": "模型回答（必填）","input": "人类输入（选填）","value": "人类指令""value": "工具参数""value": "工具结果""value": "模型回答""tools": "工具描述（选填）"
llama-factory SFT系列教程 (二)，大模型在自定义数据集 lora 训练与部署
jieshenai的博客
04-12 1万+
本文为 llama-factory SFT系列教程的第二篇；实现了在自定义数据集上 lora 微调大模型；接着融合lora权重进行大模型推理的功能
使用 LLaMA-Factory 微调大模型
TFATS的博客
01-14 1216
**本文将介绍如下内容：** - **一、搭建 Docker Container 环境** - **二、配置大模型训练环境** - **三、构建、配置数据集** - **四、训练大模型**
llama-factory一个数据微调用例
07-26
"llama-factory"是一个数据微调的工具或平台，主要与LoRa（Long Range）技术相关，这是一项低功耗广域网通信技术，常用于物联网(IoT)应用。在给定的文件列表中，我们可以看到以下几个关键文件： 1. **dataset_info....
使用LLaMA-Factory微调Llama3大模型
T.S.Hao的博客
06-19 3560
本文详细介绍了如何在本地基于llama3中文预训练模型，使用LLaMA-Factory微调模型，实现特定领域的下游任务。
llama factory 大数据量下训练失败
weixin_41046245的博客
06-11 1904
这个警告提示文件中缺少 SHA-1 哈希值。虽然这是一个警告，但它提示数据集的信息文件可能不完整或被篡改。这个错误表明你试图加载的数据集文件块太大，超过了int32_t能表示的最大值。这通常是因为数据集文件块的大小设置不当。这两个错误最终导致数据集生成失败，并抛出。
【课程总结】day24（上）：大模型三阶段训练方法(LLaMa Factory)
Deadwalk的专栏
08-15 2537
本章我们将通过 LLaMA-Factory 具体实践大模型训练的三个阶段，包括：预训练、监督微调和偏好纠正。
llama-factory SFT系列教程 (三)，chatglm3-6B 大模型命名实体识别实战
jieshenai的博客
04-12 3236
利用 llama-factory 框架，基于 chatglm3-6B 模型 做命名实体识别任务；
LLaMA-Factory 让大模型微调变得更简单！！
weixin_42924914的博客
10-15 1192
如果只需要构建一份任务相关的数据，就可以轻松通过网页界面的形式进行 Fine-tuning 微调操作， 那么必将大大减轻微调工作量。今年的 ACL 2024见证了北航和北大合作的突破—论文《LLAMAFACTORY: 统一高效微调超百种语言模型》。他们打造的 LLaMA-Factory，集成了顶尖的训练效率技术，让用户能轻松通过网页界面 LLAMABOARD，无须编码，即对上百个语言模型进行个性化微调。
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
热门推荐
失业求捞！
05-17 1万+
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImplementedError: Architecture ‘LlamaForCausalLM’ not supported!
【LLama-Factory】开源低代码大模型微调框架本地部署和使用保姆级教程！！！
weixin_43012017的博客
12-23 3718
LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。不想通过GitHub跳转到文档，可以通过下面的链接直接访问LLama-Factory官方文档。
llama-factory || AutoDL || 如何使用自己的数据集进行微调
失眠的树的博客
03-04 506
3.修改LLaMA-Factory下的data文件夹中dataset_info.json中的内容。例如，FB15k-237-subset_train_size_1000.json。2.将数据集上传至LLaMA-Factory下的data文件夹。4.启动llama-factory的webui界面。1.准备好json格式数据集。5.设置模型和数据集。
【精调】LLaMA-Factory 快速开始3: 自定义个一个alpaca 数据集并训练
突围
02-21 160
alpaca
glm4-9b-chat在使用llama-factory加载和微调时出现报错ValueError: too many values to unpack (expected 2)
hahaha_1112的博客
09-05 629
glm4-9b-chat在使用llama-factory加载和微调时出现报错ValueError: too many values to unpack (expected 2)
llama-factory微调llama
03-12
<think>嗯，用户问的是如何使用llama-factory微调LLaMA模型，我需要根据提供的引用内容来整理回答。首先，引用里提到环境搭建、代码克隆、安装依赖这些步骤。我得按照顺序来，先讲环境配置，比如激活conda环境，安装必要的工具，然后下载代码库，切换到指定版本。接着是安装依赖项，像torch和metrics这些。可能还要提到数据集构建，用户需要准备自己的数据，格式要符合要求，比如json或者jsonl。然后配置训练参数，用提供的脚本来启动训练，比如train_bash.py，指定模型路径、数据集名称这些参数。最后还要讲模型验证和使用，用inference或者web界面测试效果。同时要生成相关问题，可能涉及优化方法、数据集处理、硬件需求等。要确保步骤清晰，引用正确的来源，比如引用2和4提到的环境搭建和安装步骤。还要注意用户可能需要具体的命令示例，比如git clone和pip install这些，所以要把代码块写清楚。另外，引用3和4中的日志信息可能说明训练时的注意事项，比如使用SDPA加速，或者需要调整deepspeed版本，这些细节也要包含进去。最后检查一下是否符合格式要求，行内公式用$，独立公式用$$，但这里可能用不上数学公式，所以主要关注代码块和引用标记的正确插入。</think>[用户可见层] ### 如何使用 LLaMA-Factory 微调 LLaMA 模型教程 #### 一、环境配置 1. **基础环境搭建** 使用 Conda 创建虚拟环境并激活： ```bash conda create -n llama_factory python=3.10 conda activate llama_factory ``` 安装 PyTorch 和 DeepSpeed（需与硬件兼容的版本）： ```bash pip install torch==2.0.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117 pip install deepspeed==0.15.4 # 版本需匹配硬件环境[^4] ``` 2. **代码库准备** 克隆 LLaMA-Factory 仓库并切换到稳定版本： ```bash git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory git checkout c3fda5046d835ba4542d525b8d89cd12838e9f4c # 确保版本兼容性[^4] ``` 安装依赖项： ```bash pip install -e ".[torch,metrics]" # 包含训练和评估工具[^2][^4] ``` #### 二、数据集配置 1. **数据格式要求** 数据集需为 `JSON` 或 `JSONL` 格式，包含 `instruction`（指令）、`input`（输入）、`output`（输出）字段。 示例： ```json { "instruction": "解释法律术语'不可抗力'", "input": "", "output": "不可抗力指不能预见、不能避免且不能克服的客观情况..." } ``` 2. **数据集路径设置** 将数据集文件存放于 `data` 目录，并在 `dataset_info.json` 中注册： ```json { "legal_dataset": { "file_name": "legal_data.json", "columns": ["instruction", "input", "output"] } } ``` #### 三、模型微调 1. **启动训练脚本** 使用 `train_bash.py` 进行全参数微调： ```bash python src/train_bash.py \ --model_name_or_path /path/to/llama-7b # 原始模型路径 \ --dataset legal_dataset # 注册的数据集名称 \ --output_dir ./saved_models # 微调后模型保存路径 \ --fp16 # 混合精度训练加速 \ --deepspeed deepspeed_config.json # DeepSpeed配置[^3] ``` 2. **关键参数说明** - `--per_device_train_batch_size`: 根据 GPU 显存调整（如 4-8） - `--learning_rate`: 学习率建议范围 $[1e-5, 5e-4]$ - `--num_train_epochs`: 通常 3-5 轮即可收敛 #### 四、模型验证与应用 1. **推理测试** 使用 `inference.py` 快速验证微调效果： ```bash python src/inference.py \ --model_name_or_path ./saved_models \ --template vanilla \ --query "解释法律中的'善意取得'" ``` 2. **Web 交互界面** 启动 Gradio 可视化界面： ```bash python src/web_demo.py \ --model_name_or_path ./saved_models \ --port 7860 # 访问 http://localhost:7860 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值