快速上手 Hugging Face Transformers：完整模型微调训练步骤全攻略

最新推荐文章于 2024-09-26 17:23:00 发布

程序员丸子

最新推荐文章于 2024-09-26 17:23:00 发布

阅读量623

点赞数 7

文章标签：人工智能自然语言处理语言模型 LLM Hugging Face Transformers NLP

本文链接：https://blog.csdn.net/lyy2017175913/article/details/142546878

版权

在自然语言处理（NLP）领域，模型微调（Fine-Tuning）是提升预训练模型在特定任务上表现的关键步骤。本文将详细介绍如何使用 Hugging Face Transformers 库进行模型微调训练，涵盖数据集下载、数据预处理、训练配置、评估、训练过程以及模型保存。我们将以 YelpReviewFull 数据集为例，逐步带您完成模型微调训练的整个过程。

一、数据集下载

1.1 获取 YelpReviewFull 数据集

YelpReviewFull 数据集是一个经典的情感分析数据集，包含了大量来自 Yelp 的评论。数据集从 Yelp Dataset Challenge 2015 数据中提取，主要用于文本分类任务，目标是预测评论的情感分数。数据集的评论主要用英语编写，适合进行情感分类研究。

1.2 数据集结构与实例

数据集包含两个主要字段：

text: 评论的文本内容。
label: 评论的情感标签，范围从 1 到 5。

例如，一个典型的数据点如下：

{
    'label': 0,
    'text': 'I got \'new\' tires from them and within two weeks got a flat...'
}

1.3 数据拆分

数据集的总量为 700,000 条记录，其中包括 650,000 个训练样本和 50,000 个测试样本。在实际操作中，我们通常会将数据集随机拆分为训练集和测试集。例如，我们可以选择 130,000 个训练样本和 10,000 个测试样本用于模型训练和评估。

1.4 下载数据集代码

可以使用 Hugging Face 的 datasets 库来下载数据集：

from datasets import load_dataset

# 下载 YelpReviewFull 数据集
dataset = load_dataset("yelp_review_full")

二、数据预处理

2.1 数据预处理步骤

下载数据集后，我们需要对文本数据进行预处理，以便于模型的训练。预处理包括将文本转换为模型可以接受的输入格式。通常，我们使用 Tokenizer 对文本进行编码，并进行填充（padding）和截断（truncation）。

以下代码展示了如何使用 BERT Tokenizer 对数据集进行预处理：

from transformers import AutoTokenizer

# 加载预训练的 BERT Tokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")

def tokenize_function(examples):
    """
    使用 Tokenizer 对文本进行编码，并进行填充和截断
    """
    return tokenizer(examples["text"], padding="max_length", truncation=True)

# 对数据集进行预处理
tokenized_datasets = dataset.map(tokenize_function, batched=True)

2.2 数据抽样

在训练过程中，为了更好地控制训练过程，我们可以从数据集中抽样出一部分数据进行测试。例如，选择 1000 个样本进行小规模训练：

# 从数据集中抽样 1000 个训练样本
small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))

# 从数据集中抽样 1000 个测试样本
small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))

三、训练评估指标设置

3.1 微调训练配置

在微调模型之前，我们需要配置训练参数，包括加载模型和设置训练超参数。以下代码展示了如何加载 BERT 模型，并为情感分类任务配置输出标签数量：

from transformers import AutoModelForSequenceClassification

# 加载 BERT 模型，并设置标签数量为 5（情感评分从 1 到 5）
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)

3.2 训练超参数配置（TrainingArguments）

我们使用 TrainingArguments 来配置训练超参数。这些参数包括训练批次大小、训练轮数、日志记录频率等。以下是一个示例配置：

from transformers import TrainingArguments

model_dir = "models/bert-base-cased-finetune-yelp"

# 配置训练参数
training_args = TrainingArguments(
    output_dir=model_dir,  # 模型保存路径
    per_device_train_batch_size=16,  # 每个设备的训练批次大小
    num_train_epochs=5,  # 训练轮数
    logging_steps=100  # 每 100 步记录一次日志
)

四、训练器基本介绍

4.1 训练指标评估

Hugging Face 提供了 evaluate 库来计算模型的评估指标。例如，我们可以使用准确率（accuracy）作为评估指标。以下代码展示了如何使用 evaluate 库计算模型的准确率：

import numpy as np
import evaluate

# 加载准确率指标
metric = evaluate.load("accuracy")

def compute_metrics(eval_pred):
    """
    计算准确率
    """
    logits, labels = eval_pred
    predictions = np.argmax(logits, axis=-1)  # 将 logits 转换为预测值
    return metric.compute(predictions=predictions, references=labels)

4.2 训练器（Trainer）

Trainer 类是 Hugging Face 提供的用于训练和评估模型的工具。我们需要将模型、训练参数、数据集以及计算指标的函数传递给 Trainer：

from transformers import Trainer

# 实例化 Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train_dataset,  # 训练数据集
    eval_dataset=small_eval_dataset,    # 验证数据集
    compute_metrics=compute_metrics     # 计算指标的函数
)

五、实战训练

5.1 训练过程中的指标监控

为了监控训练过程中的评估指标，我们可以配置 TrainingArguments 中的 evaluation_strategy 参数，以便在每个 epoch 结束时报告评估指标：

# 更新训练参数配置
training_args = TrainingArguments(
    output_dir=model_dir,
    evaluation_strategy="epoch",  # 每个 epoch 结束时进行评估
    per_device_train_batch_size=16,
    num_train_epochs=3,
    logging_steps=30  # 每 30 步记录一次日志
)

5.2 开始训练

使用 Trainer 类的 train 方法开始训练模型：

# 开始训练
trainer.train()

5.3 使用 nvidia-smi 监控 GPU 使用

在训练过程中，使用 nvidia-smi 命令监控 GPU 的使用情况，以确保训练过程的高效进行：

watch -n 1 nvidia-smi

六、模型保存

6.1 保存模型和训练状态

训练完成后，我们需要保存模型及其训练状态，以便后续加载和使用：

# 保存训练后的模型
trainer.save_model(model_dir)

# 保存训练状态
trainer.save_state()

通过 trainer.save_model 方法保存模型，您可以使用 from_pretrained() 方法重新加载模型。trainer.save_state() 方法保存训练状态，便于后续继续训练或评估。

七、完整代码汇总

下面是包含所有步骤的完整代码示例：

# 导入必要的库
from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer
import numpy as np
import evaluate

# 数据集下载
dataset = load_dataset("yelp_review_full")

# 数据预处理
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")

def tokenize_function(examples):
    """
    使用 Tokenizer 对文本进行编码，并进行填充和截断
    """
    return tokenizer(examples["text"], padding="max_length", truncation=True)

tokenized_datasets = dataset.map(tokenize_function, batched=True)

# 数据抽样
small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))

# 模型加载与训练配置
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)

model_dir = "models/bert-base-cased-finetune-yelp"

training_args = TrainingArguments(
    output_dir=model_dir,
    per_device_train_batch_size=16,
    num_train_epochs=5,
    logging_steps=100
)

# 指标评估
metric = evaluate.load("accuracy")

def compute_metrics(eval_pred):
    """
    计算准确率
    """
    logits, labels = eval_pred
    predictions = np.argmax(logits, axis=-1)
    return metric.compute(predictions=predictions, references=labels)

# 实例化 Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train_dataset,
    eval_dataset=small_eval_dataset,
    compute_metrics=compute_metrics
)

# 开始训练
trainer.train()

# 监控 GPU 使用
# 使用命令行工具: watch -n 1 nvidia-smi

# 保存模型和训练状态
trainer.save_model(model_dir)
trainer.save_state()