基于 llama-Factory 动手实践 Llama 全参数 SFT 和 LoRA SFT

一、llama-Factory：你的 Llama 模型 SFT 工厂

llama-Factory 是一个开源的、用户友好的工具，专门用于对 Llama 系列模型进行微调。它提供了简洁的界面和强大的功能，让你无需复杂的代码编写，就能轻松完成 Llama 模型的 SFT 任务，无论是 全参数微调 还是 参数高效的 LoRA 微调，llama-Factory 都能轻松搞定。

llama-Factory 的优势：

• 易于上手： 简洁的命令行界面，配置简单，即使是新手也能快速上手。
• 功能强大： 支持全参数 SFT 和 LoRA SFT，满足不同场景的需求。
• 高效便捷： 集成了常用的训练技巧，优化训练流程，提高效率。
• 开源免费： 开放源代码，可以自由使用和定制。

二、准备环境：搭建你的 SFT 工作站

在开始实践之前，我们需要先搭建好运行 llama-Factory 的环境。

1. 硬件需求：

• GPU： 建议使用 NVIDIA GPU，显存越大越好，不同模型大小对显存要求不同 (见经验信息)。
• 内存： 至少 16GB 内存。
• 硬盘： 足够的硬盘空间，用于存放模型、数据集和训练结果。

2. 软件环境：

• Python： 建议使用 Python 3.8 或更高版本。
• CUDA： 如果使用 NVIDIA GPU，需要安装 CUDA 驱动和 Toolkit。
• PyTorch： llama-Factory 基于 PyTorch 框架，需要安装 PyTorch。

3. 安装 llama-Factory：

使用 pip 命令即可轻松安装 llama-Factory：

pip install llama-factory

安装完成后，可以通过以下命令验证是否安装成功：

llama-factory --version

三、数据准备：打造你的专属 SFT 数据集

SFT 的效果很大程度上取决于数据集的质量。我们需要准备一个符合 (Instruction, Input, Output) 格式的数据集。

1. 数据格式：

llama-Factory 接受 JSON 格式的数据集。每个数据样本包含以下字段：

• instruction (必须): 指令描述，例如 “Summarize the following article”。
• input (可选): 输入内容，例如文章内容。
• output (必须): 期望的输出结果，例如文章摘要。

数据示例 (JSON 格式):

[
  {
   
    "instruction": "Summarize the following article.",
    "input": "Large language models (LLMs) are a type of artificial intelligence (AI) algorithm that uses deep learning techniques and massively large data sets to understand, summarize, generate and predict new content. LLMs are based on a type of neural network architecture called a transformer network, and are pre-trained on massive quantities of text data.",
    "output": "Large language models (LLMs) are AI algorithms using deep learning and large datasets to understand, summarize, generate, and predict content. They are based on transformer networks and pre-trained on vast text data."
  },
  {
   
    "instruction"