Transformers 微调

最新推荐文章于 2024-08-05 16:37:52 发布
最新推荐文章于 2024-08-05 16:37:52 发布
阅读量943 收藏 22
点赞数 29
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45880982/article/details/137772252
版权

Transformers 微调

基于 Transformers 实现模型微调训练的主要流程

  1. 数据集下载

  2. 数据预处理

  3. 训练超参数配置

  4. 训练评估指标设置

  5. 训练器基本介绍

  6. 实战训练

  7. 模型保存

一个典型的数据点包括文本和相应的标签。来自YelpReviewFull测试集的示例如下：

{
    'label': 0,
    'text': 'I got \'new\' tires from them and within two weeks got a flat. I took my car to a local mechanic to see if i could get the hole patched, but they said the reason I had a flat was because the previous patch had blown - WAIT, WHAT? I just got the tire and never needed to have it patched? This was supposed to be a new tire. \\nI took the tire over to Flynn\'s and they told me that someone punctured my tire, then tried to patch it. So there are resentful tire slashers? I find that very unlikely. After arguing with the guy and telling him that his logic was far fetched he said he\'d give me a new tire \\"this time\\". \\nI will never go back to Flynn\'s b/c of the way this guy treated me and the simple fact that they gave me a used tire!'
}

数据字段

‘text’: 评论文本使用双引号（“）转义，任何内部双引号都通过2个双引号（”"）转义。换行符使用反斜杠后跟一个 “n” 字符转义，即 “\n”。

‘label’: 对应于评论的分数（介于1和5之间）。

数据拆分（分成训练跟测试）

Yelp评论完整星级数据集是通过随机选取每个1到5星评论的130,000个训练样本和10,000个测试样本构建的。总共有650,000个训练样本和50,000个测试样本。

下载数据集

import os

# 代理的地址，格式为 http://ip:port
http_proxy="http://proxy.sensetime.com:3128/"
https_proxy="http://proxy.sensetime.com:3128/"
# 设置代理
os.environ["HTTP_PROXY"] = http_proxy
os.environ["HTTPS_PROXY"] = https_proxy
from datasets import load_dataset
dataset = load_dataset("yelp_review_full")
#得到的dataset 其实就是一个字典（key：value格式）train 跟test就是这个下载下来的数据集的key。而dataset["train"] 通过这个可以拿到Dataset格式的训练数据集（集合）
print(dataset["train"][0])

数据集抽样

import random
import pandas as pd
import datasets
from IPython.display import display, HTML
#用于从给定的数据集 (dataset) 中随机选择一些示例并显示
def show_random_elements(dataset, num_examples=10):
    assert num_examples <= len(dataset), "Can't pick more elements than there are in the dataset."
    picks = []
    for _ in range(num_examples):
        pick = random.randint(0, len(dataset)-1)
        print(pick)
        while pick in picks:
            pick = random.randint(0, len(dataset)-1)
        picks.append(pick)
    #将从数据集中随机选择的示例创建为 Pandas DataFrame
    df = pd.DataFrame(dataset[picks])
    for column, typ in dataset.features.items():#遍历数据集的所有特征
        if isinstance(typ, datasets.ClassLabel):#检查特征是否是分类标签
            #如果是分类标签，将使用 lambda 函数将标签的索引映射到实际的类别名称
            df[column] = df[column].transform(lambda i: typ.names[i])
    display(HTML(df.to_html()))
#可以print(show_random_elements(dataset["train"]) 查看效果

预处理数据

下载数据集到本地后，使用 Tokenizer 来处理文本，对于长度不等的输入数据，可以使用填充（padding）和截断（truncation）策略来处理。

Datasets 的 map 方法，支持一次性在整个数据集上应用预处理函数。

下面使用填充到最大长度的策略，处理整个数据集：

from transformers import AutoTokenizer
#用于加载预训练的文本处理模型（Tokenizer），以便将文本数据转换为模型可以接受的输入格式
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")

def tokenize_function(examples):
    return tokenizer(examples["text"], padding="max_length", truncation=True)

tokenized_datasets = dataset.map(tokenize_function, batched=True)#刚刚生成的dataset 通过map的方法，把里面的每个样本都进行tokenize_function操作，生成处理过的数据集tokenized_datasets

#可以show_random_elements(tokenized_datasets["train"], num_examples=1)查看效果

数据抽样

使用 1000 个数据样本，在 BERT 上演示小规模训练（基于 Pytorch Trainer）

shuffle()函数会随机重新排列列的值。如果您希望对用于洗牌数据集的算法有更多控制，可以在此函数中指定generator参数来使用不同的numpy.random.Generator。


small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))

微调训练配置

加载 BERT 模型

警告通知我们正在丢弃一些权重（vocab_transform和vocab_layer_norm 层），并随机初始化其他一些权重（pre_classifier和classifier 层）。在微调模型情况下是绝对正常的，因为我们正在删除用于预训练模型的掩码语言建模任务的头部，并用一个新的头部替换它，对于这个新头部，我们没有预训练的权重，所以库会警告我们在用它进行推理之前应该对这个模型进行微调，而这正是我们要做的事情。

from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)

训练超参数（TrainingArguments）

完整配置参数与默认值：https://huggingface.co/docs/transformers/v4.36.1/en/main_classes/trainer#transformers.TrainingArguments

源代码定义：https://github.com/huggingface/transformers/blob/v4.36.1/src/transformers/training_args.py#L161

模型权重保存路径(output_dir)

from transformers import TrainingArguments
model_dir = "models/bert-base-cased"

# logging_steps 默认值为500，根据我们的训练数据和步长，将其设置为100, num_train_epochs 默认为3
training_args = TrainingArguments(output_dir=f"{model_dir}/test_trainer",
                                  logging_dir=f"{model_dir}/test_trainer/runs",
                                  logging_steps=100)
# 完整的超参数配置
print(training_args)

训练过程中的指标评估（Evaluate)
Hugging Face Evaluate 库 支持使用一行代码，获得数十种不同领域（自然语言处理、计算机视觉、强化学习等）的评估方法。 当前支持 完整评估指标：https://huggingface.co/evaluate-metric

训练器（Trainer）在训练过程中不会自动评估模型性能。因此，我们需要向训练器传递一个函数来计算和报告指标。

Evaluate库提供了一个简单的准确率函数，您可以使用evaluate.load函数加载

import numpy as np
import evaluate

metric = evaluate.load("accuracy")

接着，调用 compute 函数来计算预测的准确率。

在将预测传递给 compute 函数之前，我们需要将 logits 转换为预测值（所有Transformers 模型都返回 logits）。


def compute_metrics(eval_pred):
    logits, labels = eval_pred
    predictions = np.argmax(logits, axis=-1)
    return metric.compute(predictions=predictions, references=labels)

训练过程指标监控
通常，为了监控训练过程中的评估指标变化，我们可以在TrainingArguments指定evaluation_strategy参数，以便在 epoch 结束时报告评估指标。

from transformers import TrainingArguments, Trainer
training_args = TrainingArguments(output_dir=f"{model_dir}/test_trainer", evaluation_strategy="epoch",logging_dir=f"{model_dir}/test_trainer/runs",
                                  logging_steps=100)

开始训练

实例化训练器（Trainer）：可用nvidia-smi 查看使用率

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train_dataset,
    eval_dataset=small_eval_dataset,
    compute_metrics=compute_metrics,
)
trainer.train()

small_test_dataset = tokenized_datasets["test"].shuffle(seed=64).select(range(100))
trainer.evaluate(small_test_dataset)

保存模型和训练状态

使用 trainer.save_model 方法保存模型，后续可以通过 from_pretrained() 方法重新加载

使用 trainer.save_state 方法保存训练状态

trainer.save_model(f"{model_dir}/finetuned-trainer")
trainer.save_state()

微调代码示例

import os
# 代理的地址，格式为 http://ip:port
http_proxy="http://proxy.sensetime.com:3128/"
https_proxy="http://proxy.sensetime.com:3128/"
# 设置代理
os.environ["HTTP_PROXY"] = http_proxy
os.environ["HTTPS_PROXY"] = https_proxy

## 下载数据集
from datasets import load_dataset
dataset = load_dataset("yelp_review_full")
#得到的dataset 其实就是一个字典（key：value格式）train 跟test就是这个下载下来的数据集的key。而dataset["train"] 通过这个可以拿到Dataset格式的训练数据集（集合）
#print(dataset["train"][0])可以查看数据集的大概的结构


import random
import pandas as pd
import datasets
from IPython.display import display, HTML
#用于从给定的数据集 (dataset) 中随机选择一些示例并显示
def show_random_elements(dataset, num_examples=10):
    assert num_examples <= len(dataset), "Can't pick more elements than there are in the dataset."
    picks = []
    for _ in range(num_examples):
        pick = random.randint(0, len(dataset)-1)
        print(pick)
        while pick in picks:
            pick = random.randint(0, len(dataset)-1)
        picks.append(pick)
    #将从数据集中随机选择的示例创建为 Pandas DataFrame
    df = pd.DataFrame(dataset[picks])
    for column, typ in dataset.features.items():#遍历数据集的所有特征
        if isinstance(typ, datasets.ClassLabel):#检查特征是否是分类标签
            #如果是分类标签，将使用 lambda 函数将标签的索引映射到实际的类别名称
            df[column] = df[column].transform(lambda i: typ.names[i])
    display(HTML(df.to_html()))

#


from transformers import AutoTokenizer

#用于从Hugging Face加载预训练的文本处理模型（Tokenizer），以便将文本数据转换为模型可以接受的输入格式
tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")

def tokenize_function(examples):
    return tokenizer(examples["text"], padding="max_length", truncation=True)

tokenized_datasets = dataset.map(tokenize_function, batched=True)
show_random_elements(tokenized_datasets["train"], num_examples=1)

# 使用 1000 个数据样本，在 BERT 上演示小规模训练（基于 Pytorch Trainer）
small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))
small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))


# 微调训练配置
# 从Hugging Face加载BERT 模型
from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)

from transformers import TrainingArguments
model_dir = "models/bert-base-cased"
# logging_steps 默认值为500，根据我们的训练数据和步长，将其设置为100, num_train_epochs 默认为3
from transformers import TrainingArguments, Trainer
training_args = TrainingArguments(output_dir=f"{model_dir}/test_trainer", evaluation_strategy="epoch",logging_dir=f"{model_dir}/test_trainer/runs",
                                  logging_steps=100)



 
# Evaluate库提供了一个简单的准确率函数，使用`evaluate.load`函数加载
import numpy as np
import evaluate
metric = evaluate.load("accuracy")

# `compute` 函数来计算预测的准确率。
def compute_metrics(eval_pred):
    logits, labels = eval_pred
    predictions = np.argmax(logits, axis=-1)
    return metric.compute(predictions=predictions, references=labels)

### 实例化训练器（Trainer）
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train_dataset,
    eval_dataset=small_eval_dataset,
    compute_metrics=compute_metrics)

trainer.train()
small_test_dataset = tokenized_datasets["test"].shuffle(seed=64).select(range(100))
trainer.evaluate(small_test_dataset)
明初啥都能学会
关注
实战Transformers模型微调
07-22
### 实战Transformers模型微调 #### 数据集处理库 Hugging Face Datasets **Hugging Face Datasets 库简介** Hugging Face Datasets 库是一个非常实用的工具，它为开发者提供了轻松访问和共享音频、计算机视觉...
如何训练和微调Transformer模型？
njhhuuuby的博客
06-25 1147
可以选择使用预训练的Transformer模型（如BERT、GPT等）作为基础模型，也可以从头开始构建自定义的Transformer模型。在训练和微调Transformer模型时，需要关注参数初始化、损失函数、优化器的选择，合理设置超参数，并根据实际情况进行验证和调参。此外，数据的质量和数量、训练的时间和计算资源等因素也会影响模型的训练和微调效果。模型评估：使用测试数据集对训练好的模型进行评估，评估模型在未见过的数据上的性能表现。优化器：选择合适的优化器，如Adam、SGD等，用于优化模型的参数。
Transformers 模型微调方法
Mark_Australia的博客
03-20 1538
Transformer 调参
Transformers微调模型(PyTorch)
m0_37134868的博客
12-07 762
Pytorch实现Transofmers微调
Transformers训练和微调：Training and Fine-tuning
HMT的博客
03-28 9199
使用Transformers来训练和微调模型
transformer上手（6）—— 微调预训练模型
哦豁灬
04-15 1327
与 Pytorch 类似，Transformers 库同样实现了很多的优化器，并且相比 Pytorch 固定学习率，Transformers 库的优化器会随着训练过程逐步减小学习率（通常会产生更好的效果）。函数来加载模型参数。最后，我们加载验证集上最优的模型权重，汇报其在测试集上的性能。注意：前面我们只保存了模型的权重，因此如果要单独调用上面的代码，需要首先实例化一个结构完全一样的模型，再通过。最终在测试集（这里用了验证集）上的准确率为 74.1%，与前面汇报的一致，也验证了模型参数的加载过程是正确的。
transformers
05-11
Transformers 为数以千计的预训练模型奠定了基础（包括我们熟知的Bert、GPT、GPT-2、XLM等），支持100多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨就是让最先进的 NLP 技术人人易用。...
Transformers for Natural Language Processing.pdf
11-12
例如，BERT（Bidirectional Encoder Representations from Transformers）通过预训练和微调过程，能够理解文本的上下文信息，广泛用于情感分析、问答系统和实体识别等领域。 在第三阶段，你将掌握更高级的NLP技术，...
文本分类任务数据集，用于Transformers进行微调
11-24
在这个场景下，我们有三个数据文件：train.csv、test.csv 和 dev.csv，这些都是标准的数据集划分，通常用于训练、验证和测试机器学习模型，特别是深度学习模型如Transformers。 Transformers是由Google AI团队提出...
如何根据自己的数据集微调一个 Transformer 模型
weixin_43564920的博客
01-17 1393
然后，token encodings 被转成更低维度的 token embeddings 向量，比如 768 维，在 embedding 空间中，意思相近的 token 的 embedding 向量表示的距离也会更相近。此时我们不再将预训练的 Transformer 模型当作特征抽取器了，我们也不会将 hidden state 作为固定的特征了，我们会从头训练整个整个 Transformer 模型，也就是会更新预训练模型的权重。将文本拆分成模型可用的原子单位的步骤称为 tokenization。
【Hugging Face】Transformer.TrainingArguments Parameters/参数
SkyTai的博客
07-06 2265
【代码】【Hugging Face】Transformer.TrainingArguments Parameters/参数。
huggingface ，Trainer() 函数是 Transformers 库中用于训练和评估模型的主要接口,Trainer()函数的参数如下：
weixin_44002458的博客
04-13 1841
model (required): 待训练的模型，必须是 PyTorch 模型。 args (required): TrainingArguments 对象，包含训练和评估过程的参数，例如训练周期数、学习率、批量大小等。 train_dataset (optional): 训练数据集，可以是 Dataset 对象或一个 list。 eval_dataset (optional): 验证数据集，可以是 Dataset 对象或一个 list。 data_collator (optional): 用于将
deepspeed+transformers模型微调
weixin_40777649的博客
05-09 1194
微调代码： 参数定义—>数据处理---->模型创建/评估方式---->trainer 框架训练。，所以中需要进行文件配置，即可实现deepspeed的训练。注意： V100 显卡，不包括float16 精度训练。二、代码讲解，peft微调+trainer 实现。配置文件：ds_config.json。1、代码讲解，trainer 实现。transformers通。
Transformers实战04-微调gpt-2生成python代码。
最新发布
liaomin416100569的专栏
08-05 938
GPT-2（Generative Pre-trained Transformer 2）是由OpenAI开发的一种基于Transformer架构的自然语言处理模型。Transformer架构：GPT-2基于Transformer模型架构，这是一种使用自注意力机制来捕捉输入序列中词语之间依赖关系的深度学习模型。预训练：GPT-2是一个预训练的语言模型，意味着它在大规模的文本数据上进行了预训练，以学习文本数据的统计特性和语言模式。无监督学习。
使用本地数据对transformers模型进行微调训练
离离原上草，一岁一枯荣，野火烧不尽，春风吹又生。
06-13 498
使用本地数据对离线transformers模型进行微调训练
Transformers实战02-BERT预训练模型微调
liaomin416100569的专栏
05-24 1965
BERT（Bidirectional Encoder Representations from Transformers）是一种基于 Transformer 模型的预训练语言表示方法，由Google研究团队于2018年提出。BERT 通过在大规模文本语料上进行无监督的预训练，学习了通用的语言表示，并且在各种自然语言处理任务中取得了显著的性能提升。BERT仅使用了Transformer架构的Encoder部分。
如何高效微调多模态Transformers模型：从入门到实践指南
Go__July的博客
07-22 1089
Transformers 是一种基于注意力机制的深度学习模型，最初被用于自然语言处理任务。其主要特点是能够捕捉长距离依赖关系，同时支持并行计算，极大提高了训练速度和效果。近年来，transformers 也被扩展应用到其他模态，如图像和音频。
Transformers
07-27
它可以执行广泛的任务而无需微调，并且可以通过自我监督学习对数十亿原始未标记数据进行训练\[1\]。当需要一次推理多个句子时，可以使用列表形式作为参数传入，通过Transformers库中的pipeline函数实现\[2\]。如果你...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值