使用 Bert 做文本分类，利用 Trainer 框架实现 二分类，事半功倍

已于 2024-09-10 18:01:04 修改
阅读量611 收藏 7
点赞数 10
分类专栏： huggingface 文章标签： bert 分类 人工智能
于 2024-09-06 17:00:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sjxgghg/article/details/141961861
版权

文章目录

简介

使用 AutoModelForSequenceClassification 导入Bert 模型。
很多教程都会自定义 损失函数，然后手动实现参数更新。
但本文不想手动微调，故使用 transformers 的 Trainer 自动微调。
人生苦短，我用框架，不仅可保证微调出的模型的效果，而且还省时间。

导包

import evaluate
import numpy as np
from datasets import load_dataset
from transformers import (
    AutoTokenizer,
    AutoModelForSequenceClassification,
)

import torch
from torch import nn

import os
os.environ['HTTP_PROXY'] = 'http://127.0.0.1:7890'
os.environ['HTTPS_PROXY'] = 'http://127.0.0.1:7890'

# AG_News 英文分类数据集
# ds = load_dataset("fancyzhx/ag_news")

## 中文分类数据集
ds = load_dataset("lansinuote/ChnSentiCorp")

数据集的详情如下：

DatasetDict({
    train: Dataset({
        features: ['text', 'label'],
        num_rows: 9600
    })
    validation: Dataset({
        features: ['text', 'label'],
        num_rows: 1200
    })
    test: Dataset({
        features: ['text', 'label'],
        num_rows: 1200
    })
})

ds["train"][0]

{'text': '选择珠江花园的原因就是方便，有电动扶梯直接到达海边，周围餐馆、食廊、商场、超市、摊位一应俱全。酒店装修一般，但还算整洁。 泳池在大堂的屋顶，因此很小，不过女儿倒是喜欢。 包的早餐是西式的，还算丰富。 服务吗，一般',
 'label': 1}

加载 Bert 模型

model_name = "bert-base-chinese"

tokenizer = AutoTokenizer.from_pretrained(
    model_name,
    trust_remote_code=True,
)

bert = AutoModelForSequenceClassification.from_pretrained(
    model_name,
    trust_remote_code=True,
    num_labels=2,
)

如果你无法联网的话，使用本地huggingface模型：

bert = AutoModelForSequenceClassification.from_pretrained(
    model_name,
    trust_remote_code=True,
    revision="c30a6ed22ab4564dc1e3b2ecbf6e766b0611a33f",
    local_files_only=True,
    num_labels=2,
)

查看 bert 分类模型的网络结构：

bert

在这里插入图片描述

如上图所示，Bert 的分类模型：在原生的 Bert 模型后，加了一个Linear。

下述是数据集转换函数：

def tokenize_func(item):
    global tokenizer
    tokenized_inputs = tokenizer(
        item["text"],
        max_length=512,
        truncation=True,
    )
    return tokenized_inputs

tokenized_datasets = ds.map(
    tokenize_func,
    batched=True,
)

tokenized_datasets 的详情如下所示：

DatasetDict({
    train: Dataset({
        features: ['text', 'label', 'input_ids', 'token_type_ids', 'attention_mask'],
        num_rows: 9600
    })
    validation: Dataset({
        features: ['text', 'label', 'input_ids', 'token_type_ids', 'attention_mask'],
        num_rows: 1200
    })
    test: Dataset({
        features: ['text', 'label', 'input_ids', 'token_type_ids', 'attention_mask'],
        num_rows: 1200
    })
})

Train

from transformers import TrainingArguments

args = TrainingArguments(
    "ChnSentiCorp_text_cls",
    eval_steps=8,
    evaluation_strategy="steps",
    save_strategy="epoch",
    save_total_limit=3,
    learning_rate=2e-5,
    num_train_epochs=3,
    weight_decay=0.01,
    per_device_train_batch_size=32,
    per_device_eval_batch_size=16,
    logging_steps=8,
    save_safetensors=True,
    overwrite_output_dir=True,
    # load_best_model_at_end=True,
)

TrainingArguments 的参数解释点击查看下述文章：
LLM大模型之Trainer以及训练参数

from transformers import DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

from transformers import Trainer

trainer = Trainer(
    model=bert,
    args=args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation"],
    data_collator=data_collator,
    # compute_metrics=compute_metrics,
    tokenizer=tokenizer,
)
trainer.train()

训练过程，在终端可以看见，训练和验证的损失值变化。
在这里插入图片描述

如果安装了 wandb，并且在系统环境变量中，进行了设置。

训练过程和评估过程的记录会自动上传到wandb中。

wandb

若你想使用 wandb，自行进行安装；个人强烈推荐，一劳永逸，这样就无需自己绘图展示模型的训练过程了。

在模型训练的过程，进入 wandb https://wandb.ai/home 看看模型的现在的训练的过程。
在这里插入图片描述

在这里插入图片描述

上图是在 wandb 网站看到的图，横轴是 epoch ，纵轴是 loss。
蓝色折线是在验证集上的损失，橙色折线是在训练集上的损失。

可以很直观的看到，在训练集上的loss 小于 在验证集上的 loss。

predict

训练完成的模型，使用 predict 方法，在测试集上预测。

predictions = trainer.predict(tokenized_datasets["test"])
preds = np.argmax(predictions.predictions, axis=-1)
preds

输出结果：

array([1, 0, 0, ..., 1, 1, 0])

预测结果评估

def eval_data(data):
    predictions = trainer.predict(data)
    preds = np.argmax(predictions.predictions, axis=-1)
    metric = evaluate.load("glue", "mrpc")
    return metric.compute(predictions=preds, references=predictions.label_ids)

eval_data(tokenized_datasets["test"])

输出结果：

{'accuracy': 0.9475, 'f1': 0.9478908188585607}

Bert 工具类

有些时候，在模型应用中，我们想快速使用Bert模型，不想过多关注Bert的训练细节。故提供了下述Bert的工具类。

对于提供给 BertCLS 的数据集，要提前做tokenize化。为了让 BertCLS 更通用化，不在其中内置 tokenize 处理数据集的函数。

from dataclasses import dataclass


@dataclass
class BertCLS:
    def __init__(
        self, model, tokenizer, train_dataset=None, eval_dataset=None, output_dir="output", epoch=3
    ):
        self.model = model
        self.train_dataset = train_dataset
        self.eval_dataset = eval_dataset

        from transformers import DataCollatorWithPadding
        self.data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

        self.args = self.get_args(output_dir, epoch)

        self.trainer = Trainer(
            model=self.model,
            args=self.args,
            train_dataset=self.train_dataset,
            eval_dataset=self.eval_dataset,
            data_collator=self.data_collator,
            # compute_metrics=compute_metrics,
            tokenizer=tokenizer,
        )

    def get_args(self, output_dir, epoch):
        if self.eval_dataset:
            args = TrainingArguments(
                output_dir=output_dir,
                evaluation_strategy="epoch",
                save_strategy="epoch",
                save_total_limit=3,
                learning_rate=2e-5,
                num_train_epochs=epoch,
                weight_decay=0.01,
                per_device_train_batch_size=32,
                per_device_eval_batch_size=16,
                # logging_steps=16,
                save_safetensors=True,
                overwrite_output_dir=True,
                load_best_model_at_end=True,
            )
        else:
            args = TrainingArguments(
                output_dir=output_dir,
                evaluation_strategy="no",
                save_strategy="epoch",
                save_total_limit=3,
                learning_rate=2e-5,
                num_train_epochs=epoch,
                weight_decay=0.01,
                per_device_train_batch_size=32,
                per_device_eval_batch_size=16,
                # logging_steps=16,
                save_safetensors=True,
                overwrite_output_dir=True,
                # load_best_model_at_end=True,
            )
        return args

    def set_args(self, args):
        """
        从外部重新设置 TrainingArguments，args 更新后，trainer也进行更新
        """
        self.args = args

        self.trainer = Trainer(
            model=self.model,
            args=self.args,
            train_dataset=self.train_dataset,
            eval_dataset=self.eval_dataset,
            data_collator=self.data_collator,
            # compute_metrics=compute_metrics,
            tokenizer=tokenizer,
        )

    def train(self, over_write=False):
        best_model_path = os.path.join(self.args.output_dir, "best_model")

        if over_write:
            self.trainer.train()
            self.trainer.save_model()
        elif not os.path.exists(best_model_path):
            self.trainer.train()
            self.trainer.save_model()
        else:
            print(
                f"预训练权重 {best_model_path} 已存在，且over_write={over_write}。不启动模型训练！"
            )

    def eval(self, eval_dataset):
        predictions = self.trainer.predict(eval_dataset)
        preds = np.argmax(predictions.predictions, axis=-1)
        metric = evaluate.load("glue", "mrpc")
        return metric.compute(predictions=preds, references=predictions.label_ids)

    def pred(self, pred_dataset):
        predictions = self.trainer.predict(pred_dataset)
        preds = np.argmax(predictions.predictions, axis=-1)
        return pred_dataset.add_column("pred", preds)

关于该工具类的使用可以浏览下述文章：https://github.com/JieShenAI/csdn/blob/main/24/09/bert_cls/bert.ipynb

总结

总体上看，本文做了一下数据集的处理，大模型的微调过程、模型权重报错、日志记录，这些过程全部由 transformers 的 Trainer 自动进行。

用好 框架， 事半功倍。当然前提是已经掌握了基础的手动参数微调。

参考资料

jieshenai
关注
专栏目录
使用 BERT 进行文本分类 （02/3）
gongdiwudu的专栏
08-15 6684
​ 在使用BERT（1）进行文本分类中，我向您展示了一个BERT如何标记文本的示例。在下面的文章中，让我们更深入地研究是否可以使用 BERT 来预测文本是使用 PyTorch 传达积极还是消极的情绪。首先，我们需要准备数据，以便使用 PyTorch 框架进行分析。​
【实战】使用Bert微调完成文本二分类
持续战斗状态的博客
02-21 1178
使用Bert微调完成文本二分类，包含实验数据、全部代码，一键运行
Bert实战：使用Bert实现文本分类。
AI浩
10-25 2万+
1、简介 最近使用Bert实现了文本分类，模型使用的是bert的base版本。本文记录一下实现过程。 数据集：cnews，包含三个文件，分别是cnews.train.txt、cnews.test.txt、cnews.val.txt。类别包含10类，分别是：体育、娱乐、家居、房产、教育、时尚、时政、游戏、科技、财经。 代码参考：https://github.com/BeHappyForMe/Multi_Model_Classification，对代码的一些部分作了修改和注解。关注公众号“AI小浩”，回复“be
12-NLP之Bert实现文本分类
weixin_46713695的博客
11-02 2621
NLP之Bert实现文本分类
NLP（二十）利用BERT实现文本二分类
山阴少年
02-13 3741
  如您需要阅读该文章，请访问博客园网址：https://www.cnblogs.com/jclian91/p/12301056.html ，或者微信公众号网址： https://mp.weixin.qq.com/s?__biz=MzU2NTYyMDk5MQ==&mid=2247484497&idx=1&sn=14fc94307991a392cabcf7ddf10ea9a1...
14-NLP之Bert实现文本多分类
weixin_46713695的博客
11-06 1956
Bert实现文本多分类
Bert文本分类(基于keras-bert实现)
热门推荐
Asia-Lee
10-27 3万+
目录 一、Bert 预训练模型准备 二、Bert 模型文本分类 1、数据准备 2、代码实现 3、分类过程与结果 一、Bert 预训练模型准备 中文预训练模型下载 当Bert遇上Keras：这可能是Bert最简单的打开姿势 keras-bert 不同模型的性能对比如下（可根据自己的数据选择合适的模型，模型越大需要训练的时间越长） 模型 开发集 测试集...
Bert系列：基于Bert微调快速实现多标签文本分类
2401_84495872的博客
06-15 1788
文本分类是指对形如文章，新闻，舆情，评论，用户输入的词条等自然语言文本数据，根据某个业务维度进行自动归类的技术。多标签分类是指文本可以被归类为一种或者多种不同的类目下，同一个文本实例可以有多个类别标签。相比于多元分类（文本只能归属于一类），多标签文本分类在实际的场景中更为常见，例如1.新闻根据主题归类，比如某篇描述国际冲突的新闻既可以归为国际政治，也可以归类到军事主题。
基于BERT的文本分类——附-简单的示例代码
技术宅学长的博客
01-29 2544
*BERT（Bidirectional Encoder Representations from Transformers）**是一种预训练的自然语言处理模型，由Google于2018年提出。BERT通过在大规模文本语料上进行预训练，学习了深层次的语言表示，然后可以通过微调用于各种下游任务，包括文本分类。文本分类是一个常见的自然语言处理任务，它涉及将文本分为不同的类别或标签。
基于BERT模型实现文本分类任务（transformers+torch）
weixin_43646592的博客
08-04 9095
 ????BERT的原理分析可以看这：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》论文笔记  ????代码实现主要用到huggingface的transformers库（4.9.1）和torch库（1.6.0） pip install transformers pip install torch ????先说下我的做法：  取了最后4层，按768那个维度进行拼接，拼完就是4*768。然
基于python面向工业用途使用BERT模型做文本分类项目实现
03-27
本项目专注于使用Python编程语言以及BERT（Bidirectional Encoder Representations from Transformers）模型进行文本分类，这是一个强大的预训练语言模型，对于理解和处理自然语言具有出色的能力。以下是关于这个...
项目实战-Bert文本分类（keras-bert实现）源代码及数据集.zip
04-09
1、内容概要：本资源主要基于bert（keras）实现文本分类，适用于初学者学习文本分类使用。 2、数据集为电商真实商品评论数据，主要包括训练集data_train，测试集data_test ，经过预处理的训练集clean_data_train和...
基于 pytorch-transformers 实现的 BERT 中文文本分类代码
06-06
基于 pytorch-transformers 实现的 BERT 中文文本分类代码 数据： 从 THUCNews 中随机抽取20万条新闻标题，一共有10个类别：财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐，每类2万条标题数据。数据...
bert文本分类 代码+数据
08-06
- 代码：实现BERT文本分类的Python代码，可能包括使用TensorFlow或PyTorch等深度学习框架的实现。 - roc曲线：训练完成后，可能会有绘制的ROC曲线图，用于可视化模型的分类性能。 掌握BERT文本分类不仅可以提高文本...
一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算
11-03
标题中的“一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算”揭示了BERT模型在自然语言处理（NLP）领域的广泛应用。BERT，全称为Bidirectional Encoder Representations from Transformers，是由Google...
药品识别与分类系统源码分享
xuehaikj的博客
10-01 1232
数据集信息展示在药品识别与分类的研究领域，数据集的质量和多样性直接影响到模型的训练效果和最终的应用性能。本研究采用的“8-pill”数据集，专门为改进YOLOv8模型在药品识别与分类任务中的表现而设计。该数据集包含了8个不同的类别，涵盖了多种常见药品和补充剂，旨在为模型提供丰富的训练样本，以提高其识别准确率和分类能力。“8-pill”数据集的类别包括：C、LIP、VINEGAR、ace、air、centrum、iron和mag。这些类别代表了不同类型的药品和营养补充剂，分别对应于不同的功能和用途。
每天一个数据分析题（四百九十五）- 分类算法
最新发布
shiguangre的博客
10-09 361
内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark八个方向的专项练习题库，数据分析从业者刷题必备神器！B. 查全率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。C. 正确率、查全率和 F 值取值都在0和1之间，数值越接近0，查准率或查全率就越高。A. 准确率是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的 查准率。下面有关分类算法的准确率，查全率，F1值的描述，错误的是？
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1587
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
利用Keras-BERT实现谭松波酒店评论二分类
本文档主要介绍了如何使用Keras-BERT框架实现针对谭松波酒店评论的二分类任务。首先，作者提到了Bert模型的基本原理，Bert（Bidirectional Encoder Representations from Transformers）是一种预训练的深度学习模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jieshenai

为了遇见更好的文章

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值