深度学习实战11(进阶版)-BERT模型的微调应用-文本分类案例

已于 2023-03-12 14:08:00 修改
阅读量3.4k 收藏 64
点赞数 9
分类专栏： 深度学习实战(进阶) 文章标签： 深度学习 bert 分类
于 2022-11-17 16:48:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42878111/article/details/127907012
版权

文章目录

一、前期工作

  1. 导入库包
  2. 导入数据

二、模型加载
三、模型训练

四、模型测试

大家好，我是微学AI，今天给大家带来一个基于BERT模型做文本分类的实战案例，在BERT模型基础上做微调，训练自己的数据集，相信之前大家很多都是套用别人的模型直接训练，或者直接用于预训练模型进行预测，没有训练和微调过大模型，因为像BERT这种大模型一般人是训练不了的，我们只能在大模型的基础上进行微调，或者做下游任务改造。

下面来介绍一下BERT模型，BERT是基于transfomer的预训练语言模型，它利用了transfomer中的编码器，进行数据编码，将文本数据转化为词向量。BERT核心内容是利用transfomer中的多头自注意力机制进行编码，关于transfomer的多头自注意力机制详细可以观看网络上的资料。

BERT模型是以两个NLP任务进行训练的，第一个任务是文本中词的预测，将已知训练文本隐掉词的信息，用MASK进行隐码，让模型去预测。第二个任务是在训练数据中随机抽取上下文关系句子或非上下文关系句子，让机器判断是否为上下文关系。BERT模型训练优势是无需进行标注数据。
我们可以利用BERT预训练模型进行下游任务改造，做自己相关任务，比如中文分词、文本分类，命名实体识别，阅读理解，情感分析，文本相似度、信息抽取等任务。

一、前期工作

1. 导入库包

import torch
from datasets import load_dataset
import torch.nn.functional as F
from transformers import BertTokenizer

#加载字典和分词工具
token = BertTokenizer.from_pretrained('bert-base-chinese')

2. 定义数据、数据载入

#定义数据集
class Dataset(torch.utils.data.Dataset):
    def __init__(self, split):
        self.dataset = load_dataset(path='data', split=split)

    def __len__(self):
        return len(self.dataset)

    def __getitem__(self, i):
        text = self.dataset[i]['text']
        label = self.dataset[i]['label']

        return text, label

dataset = Dataset('train')
print(len(dataset), dataset[0])

def collate_fn(data):
    sents = [i[0] for i in data]
    labels = [i[1] for i in data]

    #编码
    data = token.batch_encode_plus(batch_text_or_text_pairs=sents,
                                   truncation=True,
                                   padding='max_length',
                                   max_length=500,
                                   return_tensors='pt',
                                   return_length=True)

    #input_ids:编码之后的数字
    #attention_mask:是补零的位置是0,其他位置是1
    input_ids = data['input_ids']
    attention_mask = data['attention_mask']
    token_type_ids = data['token_type_ids']
    labels = torch.LongTensor(labels)

    #print(data['length'], data['length'].max())
    return input_ids, attention_mask, token_type_ids, labels

#数据加载器
loader = torch.utils.data.DataLoader(dataset=dataset,
                                     batch_size=10,
                                     collate_fn=collate_fn,
                                     shuffle=True,
                                     drop_last=True)

for i, (input_ids, attention_mask, token_type_ids,
        labels) in enumerate(loader):
    break

print(len(loader))
print(input_ids.shape, attention_mask.shape, token_type_ids.shape, labels)

这里代码需要在同级文件夹下创建data 文件夹， 放入train.csv、test.csv数据集。

数据集格式如下：

二、BERT模型加载

我们可以在BERT输出端接入一个全连接层，输出2分类问题，也可加入CNN卷积层，这些可以自行操作。

from transformers import BertModel

#加载预训练模型
pretrained = BertModel.from_pretrained('bert-base-chinese')

#不训练,不需要计算梯度
for param in pretrained.parameters():
    param.requires_grad_(False)

#模型试算
out = pretrained(input_ids=input_ids,
           attention_mask=attention_mask,
           token_type_ids=token_type_ids)

print(out.last_hidden_state.shape)


#定义下游任务模型
class Model(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.fc = torch.nn.Linear(768, 2)
        # 可加入CNN卷积层，可以自行操作
        # self.conv1D = torch.nn.Conv1d(in_channels=500, out_channels=500, kernel_size=1)
        # self.MaxPool1D = torch.nn.MaxPool1d(4, stride=2)
        # self.Dropout = torch.nn.Dropout(p=0.5, inplace=False)

    def forward(self, input_ids, attention_mask, token_type_ids):
        with torch.no_grad():
            out = pretrained(input_ids=input_ids,
                       attention_mask=attention_mask,
                       token_type_ids=token_type_ids)
        out = self.fc(out.last_hidden_state[:, 0])
        out = out.softmax(dim=1)
        print(out.shape)
        return out

三、模型训练

model = Model()
print(model)
#model.summary()
model(input_ids=input_ids,
      attention_mask=attention_mask,
      token_type_ids=token_type_ids).shape

from transformers import AdamW
#训练
optimizer = AdamW(model.parameters(), lr=5e-4)
criterion = torch.nn.CrossEntropyLoss()

model.train()
epochs = 30

for i, (input_ids, attention_mask, token_type_ids,
        labels) in enumerate(loader):
    out = model(input_ids=input_ids,
                attention_mask=attention_mask,
                token_type_ids=token_type_ids)

    loss = criterion(out, labels)
    loss.backward()
    optimizer.step()
    optimizer.zero_grad()

    if i % 1 == 0:
        out = out.argmax(dim=1)
        accuracy = (out == labels).sum().item() / len(labels)

        print('epochs:',i, 'loss:',loss.item(),'accuracy:', accuracy)

    if i == epochs:
        torch.save(model, 'text_classfiy.model')
        #model_load = torch.load('model/命名实体识别_中文.model')
        break

四、模型测试

#测试函数
def test():
    model.eval()
    correct = 0
    total = 0

    loader_test = torch.utils.data.DataLoader(dataset=Dataset('validation'),
                                              batch_size=10,
                                              collate_fn=collate_fn,
                                              shuffle=True,
                                              drop_last=True)

    for i, (input_ids, attention_mask, token_type_ids,
            labels) in enumerate(loader_test):

        if i == 5:
            break

        with torch.no_grad():
            out = model(input_ids=input_ids,
                        attention_mask=attention_mask,
                        token_type_ids=token_type_ids)

        out = out.argmax(dim=1)
        correct += (out == labels).sum().item()
        total += len(labels)

    print(correct / total)

可以调用测试函数进行测试，看看模型训练效果。

欢迎继续关注 深度学习实战案例，持续更新。获取数据可私聊。

 往期作品：

深度学习实战项目

1.深度学习实战1-(keras框架)企业数据分析与预测

2.深度学习实战2-(keras框架)企业信用评级与预测

3.深度学习实战3-文本卷积神经网络（TextCNN）新闻文本分类

4.深度学习实战4-卷积神经网络（DenseNet）数学图形识别+题目模式识别

5.深度学习实战5-卷积神经网络（CNN）中文OCR识别项目

6.深度学习实战6-卷积神经网络(Pytorch)+聚类分析实现空气质量与天气预测

7.深度学习实战7-电商产品评论的情感分析

8.深度学习实战8-生活照片转化漫画照片应用

9.深度学习实战9-文本生成图像-本地电脑实现text2img

10.深度学习实战10-数学公式识别-将图片转换为Latex(img2Latex)

11.深度学习实战11(进阶版)-BERT模型的微调应用-文本分类案例

12.深度学习实战12(进阶版)-利用Dewarp实现文本扭曲矫正

13.深度学习实战13(进阶版)-文本纠错功能，经常写错别字的小伙伴的福星

14.深度学习实战14(进阶版)-手写文字OCR识别，手写笔记也可以识别了

15.深度学习实战15(进阶版)-让机器进行阅读理解+你可以变成出题者提问

16.深度学习实战16(进阶版)-虚拟截图识别文字-可以做纸质合同和表格识别

17.深度学习实战17(进阶版)-智能辅助编辑平台系统的搭建与开发案例

18.深度学习实战18(进阶版)-NLP的15项任务大融合系统，可实现市面上你能想到的NLP任务

19.深度学习实战19(进阶版)-ChatGPT的本地实现部署测试，自己的平台就可以实现ChatGPT

...(待更新)

微学AI
关注
  • 9
    点赞
  • 踩
  • 64
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 23
    评论
专栏目录
订阅专栏
Bert基础(八)--Bert实战之理解Bert微调
Andy_shenzl的博客
03-26 1603
到目前为止，我们已经介绍了如何使用预训练的BERT模型。现在，我们将学习如何针对下游任务微调预训练的BERT模型。需要注意的是，微调并非需要我们从头开始训练BERT模型，而是使用预训练的BERT模型，并根据任务需要更新模型的权重。在本节中，我们将学习如何为以下任务微调预训练的BERT模型。
fine_tuning_data.zip 可直接用bert进行微调的中文情绪数据
05-21
具体使用方法可以看我的博客：https://blog.csdn.net/weixin_40015791/article/details/90410083 下面也会简单介绍一下：在bert开源代码中的run_classifier.py中找到 processors = { "cola": ColaProcessor, "mnli": MnliProcessor, "mrpc": MrpcProcessor, "xnli": XnliProcessor, "intentdetection":IntentDetectionProcessor, "emotion":EmotionProcessor, #新加上这一行 } 然后在该文件中增加一个class： class EmotionProcessor(DataProcessor): """Processor for the MRPC data set (GLUE version).""" def get_train_examples(self, data_dir): """See base class.""" return self._create_examples( self._read_tsv(os.path.join(data_dir, "fine_tuning_train_data.tsv")), "train") #此处的名字和文件夹中的训练集的名字要保持一致 def get_dev_examples(self, data_dir): """See base class.""" return self._create_examples( self._read_tsv(os.path.join(data_dir, "fine_tuning_val_data.tsv")), "dev") def get_test_examples(self, data_dir): """See base class.""" return self._create_examples( self._read_tsv(os.path.join(data_dir, "fine_tuning_test_data.tsv")), "test") def get_labels(self): """See base class.""" return ["0", "1","2","3","4","5","6"] #七分类则从0到6 def _create_examples(self, lines, set_type): """Creates examples for the training and dev sets.""" examples = [] for (i, line) in enumerate(lines): if i == 0: continue guid = "%s-%s" % (set_type, i) if set_type == "test": label = "0" text_a = tokenization.convert_to_unicode(line[0]) else: label = tokenization.convert_to_unicode(line[0]) text_a = tokenization.convert_to_unicode(line[1]) examples.append( InputExample(guid=guid, text_a=text_a, text_b=None, label=label)) return examples 最后直接调用即可，运行的命令如下： python run_classifier.py \ --task_name=emotion \ --do_train=true \ --do_eval=true \ --data_dir=data \ #把数据解压到同一级的文件夹中，此处是该文件夹名字data --vocab_file=chinese_L-12_H-768_A-12/vocab.txt \ #中文数据要微调的原始bert模型 --bert_config_file=chinese_L-12_H-768_A-12/bert_config.json \ --init_checkpoint=chinese_L-12_H-768_A-12/bert_model.ckpt \ --max_seq_length=128 \ --train_batch_size=32 \ --learning_rate=2e-5 \ --num_train_epochs=3.0 \ --output_dir=output #生成文件所在的文件夹 大概9个小时，最后文件夹中会有三个文件 后缀分别为index/meta/00000-of-00001,分别将这个改成bert_model.ckpt.index/bert_model.ckpt.meta/bert_model.ckpt.data-00000-of-00001，再在同一个文件夹中放入chinese_L-12_H-768_A-12中的vocab.txt和bert_config.json 即最后该文件夹中有5个文件。然后像调用chinese_L-12_H-768_A-12一样将文件夹名改成自己的文件夹名即可。 bert-serving-start -model_dir output -num_worfer=3 即可调用微调后的语言通用模型。
pytorch-bert文本分类
06-18
基于bert预训练模型和pytorch深度学习框架实现文本分类
项目实战-Bert文本分类（keras-bert实现）源代码及数据集.zip
04-09
1、内容概要：本资源主要基于bert（keras）实现文本分类，适用于初学者学习文本分类使用。 2、数据集为电商真实商品评论数据，主要包括训练集data_train，测试集data_test ，经过预处理的训练集clean_data_train和中文停用词表stopwords.txt，可用于模型训练和测试，详细数据集介绍见商品评论情感数据说明文档。 3、源代码：word2vec_analysis.py 是基于Word2Vec进行词向量的生成，采用向量平均求得句向量，然后分别构建RandomForest和GBDT分类模型进行文本分类。 4、源代码：bert_model.py是基于keras-bert构建Bert模型对文本进行分类。
基于Pytorch实现的Bert模型
08-27
基于PyTorch实现的BERT模型。BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，它在大规模文本数据上进行预训练，然后可以通过微调适应各种NLP任务，如文本分类、语言生成、问答等。 这段代码包含以下主要组件： PositionalEncoding: 位置编码，用于为输入的序列数据添加位置信息，以便模型能够理解单词之间的相对位置。 MultiHeadAttention: 多头自注意力机制，用于在输入序列中捕捉不同单词之间的关系。 PositionwiseFeedForward: 前馈神经网络，用于增强模型的表达能力。 TokenEmbedding: 词嵌入层，将输入的单词索引转换为向量表示。 SegmentEmbedding: 分割嵌入层，表示句子的分割信息。 PositionEmbedding: 位置嵌入层，添加序列中单词的位置信息。 TransformerLayer: Transformer层，由多头自注意力和前馈神经网络组成。
大模型指令微调概述，大模型微调简单介绍ppt
10-30
目前学术界一般将NLP任务的发展分为四个阶段即NLP四范式： 第一范式：基于传统机器学习模型的范式，如 tf-idf 特征+朴素贝叶斯等机器算法； 第二范式：基于深度学习模型的范式，如 word2vec 特征 + LSTM 等深度学习算法，相比于第一范式，模型准确有所提高，特征工程的工作也有所减少； 第三范式：基于预训练模型 + fine-tuning的范式，如 BERT + finetuning 的NLP任务，相比于第二范式，模型准确度显著提高，但是模型也随之变得更大，但小数据集就可训练出好模型； 第四范式：基于预训练模型 + Prompt + 预测的范式，如 BERT + Prompt 的范式相比于第三范式，模型训练所需的训练数据显著减少。
自然语言处理应用(三)：微调BERT
qq_51957239的博客
09-13 3098
微调（Fine-tuning）BERT是指在预训练的BERT模型基础上，使用特定领域或任务相关的数据对其进行进一步训练以适应具体任务的需求。BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的深度双向预训练语言模型，通过在大规模无监督数据上进行预训练，学习到了丰富的语言表示。：根据任务或领域的需求，准备标注的训练数据集。数据集应包含输入文本以及相应的标签或目标。：从预训练的BERT模型中加载参数。
BERT微调
anshiquanshu的专栏
05-11 1万+
bert微调步骤： 首先从主函数开刀： copy run_classifier.py 随便重命名 my_classifier.py 先看主函数： if __name__ == "__main__": flags.mark_flag_as_required("data_dir") flags.mark_flag_as_required("task_name") flags.mark_flag_as_required("vocab_file") flags.mark_flag_a..
BERT模型—2.BERT模型预训练与微调
热门推荐
柳杰的博客
07-21 1万+
文章目录引言一、预训练语言模型1.为什么要进行预训练？ 引言   本节将按照思维导图逐步了解BERT语言模型（基于transformer的网络结构）。 一、预训练语言模型   大规模的预训练语言模型的模型参数量呈几何倍数的增长趋势。下面我们了解BERT预训练的原理。 1.为什么要进行预训练？   基于词向量的预训练方式并不是在BERT中首次出现。 ...
BERT 模型微调实战：使用Transformers微调BERT模型实现问答和文本分类任务
FrenzyTechAI的博客
07-27 8501
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，由Google于2018年发布。BERT模型的核心是Transformer编码器，它可以在大规模语料库上进行无监督预训练，然后通过微调在各种NLP任务上进行微调。BERT模型是一种双向的深度学习模型，它可以同时考虑上下文中的所有单词，从而更好地理解句子的含义。BERT模型已被证明在多项NLP任务上取得了最佳结果，包括问答、文本分类、命名实体识别等。
预训练模型-从BERT原理到BERT调包和微调
SHIDACSDN的博客
04-15 2259
一、BERT原理 BERT取名来自 Bidirectional Encoder Representations from Transformers。架构为：预训练 + fine-tuning(对于特定的任务只需要添加一个输出层)。 1、引言 通过预训练语言模型可显著提高NLP下游任务。限制模型潜力的主要原因在于现有模型使用的都是单向的语言模型，无法充分了解到单词所在的上下文结构...
基于WeiboSenti100k微博评论数据集+Bert微调的中文情感分析源码+使用说明+数据集.zip
最新发布
01-09
1.项目代码均经过功能验证ok，确保稳定可靠运行。欢迎下载体验！下载完使用问题请私信沟通。 2.主要针对各个计算机相关专业，包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间，不仅可作为入门进阶，也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中，如有问题或建议，请及时沟通。 5.期待你能在项目中找到乐趣和灵感，也欢迎你的分享和反馈！ 【资源说明】 基于WeiboSenti100k微博评论数据集+Bert微调的中文情感分析源码+使用说明+数据集.zip 使用Bert-base-Chinese，对微博评论数据集进行情感分类，分别是[积极/消极]。 shell pip install -r requirements.txt ~~~ Dataset 使用[WeiboSenti100k](https://huggingface.co/datasets/dirtycomputer/weibo_senti_100k)数据集，该数据集包含在./dataset。 该数据集包含10万条中国微博帖子，每条帖子都被标记为正面或负面。 inference ~~~shell python inference.py -s "There input your sentence." # Inference for single sentence. ~~~ ~~~shell python inference.py -i True # Continuous inference. ~~~ rain **run the CLI** ~~~shell python train.py <Args> ~~~ **or** ```shell accelerate launch train.py <Args> ```
基于PyTorch框架实现的BERT模型及其相关下游微调任务.zip
05-30
基于PyTorch框架实现的BERT模型及其相关下游微调任务.zip
BERT-BiLSTM-CRF-NER:NER任务的Tensorflow解决方案将BiLSTM-CRF模型与Google BERT微调和私有服务器服务结合使用
05-09
BERT-BiLSTM-CRF-NER Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning 使用谷歌的BERT模型在BLSTM-CRF模型上进行预训练用于中文命名实体识别的Tensorflow代码' 中文文档请查看 如果对您有帮助，麻烦点个star,谢谢~~ Welcome to star this repository! The Chinese training data($PATH/NERdata/) come from: The CoNLL-2003 data($PATH/NERdata/ori/) come from: The evaluation codes come from: Try to implement NER work based on google'
人工智能-项目实践-文本分类-本项目采用Keras和Keras-bert实现文本多标签分类任务，对BERT进行微调。
05-25
人工智能-项目实践-文本分类-本项目采用Keras和Keras-bert实现文本多标签分类任务，对BERT进行微调。 本项目采用Keras和Keras-bert实现文本多标签分类任务。 数据集 2020语言与智能技术竞赛：事件抽取任务 本项目以 2020语言与智能技术竞赛：事件抽取任务 中的数据作为多分类标签的样例数据，借助多标签分类模型来解决。
Python-微调BERT用于提取摘要的论文代码
08-10
微调BERT用于提取摘要的论文代码
深度学习实战11(进阶版)-BERT模型的微调应用-文本分类案例.zip
08-24
深度学习实战 包含了数据集和对应的代码 可直接运行
人工智能-深度学习-文本分类-使用Bert，ERNIE，进行中文文本分类
07-09
Bert-Chinese-Text-Classification-Pytorch LICENSE 中文文本分类，Bert，ERNIE，基于pytorch，开箱即用。 介绍 模型介绍、数据流动过程：还没写完，写好之后再贴博客地址。 工作忙，懒得写了，类似文章有很多。 ...
Bert微调技巧实验大全
朝闻道
02-13 2972
背景介绍 文本分类是NLP中的一个经典任务， 通常在大型的数据集进行一些预训练的模型在文本分类上可以取得很不错的成绩。例如word2vec， CoVe(contextualized word embeddings)和ELMo都取得了不错的成绩。Bert是基于双向transformer使用masked word prediction和NSP(next sentence prediction)的任务进行预训练，然后在下游任务上进行微调。Bert的出世，横扫了各大榜单。但是他的潜能已经被完全开发了吗？本文针对文
请用python写一个深度学习模型，用于预训练模型BERT微调分类模型
04-01
以下是一个使用PyTorch实现的BERT微调分类模型的示例： ```python import torch import torch.nn as nn from transformers import BertModel class BertClassifier(nn.Module): def __init__(self, num_classes): super(BertClassifier, self).__init__() self.bert = BertModel.from_pretrained('bert-base-uncased') self.dropout = nn.Dropout(0.1) self.fc1 = nn.Linear(768, num_classes) def forward(self, input_ids, attention_mask): outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask) pooled_output = outputs.pooler_output pooled_output = self.dropout(pooled_output) logits = self.fc1(pooled_output) return logits ``` 在这个模型中，我们使用了PyTorch的nn.Module类来定义一个包含BERT预训练模型的分类器。在__init__方法中，我们首先使用transformers库中的BertModel类从预训练的BERT模型中加载权重。然后，我们定义了一个dropout层和一个全连接层，将BERT的输出转换成我们需要的类别数。 在forward方法中，我们将输入的数据传递给BERT模型，然后使用pooler_output属性来获取BERT输出的池化表示。我们应用了一层dropout，然后将池化表示传递给全连接层，得到最终的分类结果。 最后，我们可以使用这个模型来微调BERT模型，以执行特定的文本分类任务。例如，我们可以使用以下代码来微调模型并进行预测： ```python model = BertClassifier(num_classes=2) optimizer = torch.optim.Adam(model.parameters(), lr=2e-5) criterion = nn.CrossEntropyLoss() for epoch in range(num_epochs): for batch in train_data_loader: input_ids, attention_mask, labels = batch optimizer.zero_grad() outputs = model(input_ids, attention_mask) loss = criterion(outputs, labels) loss.backward() optimizer.step() # Evaluate the model model.eval() with torch.no_grad(): for batch in test_data_loader: input_ids, attention_mask, labels = batch outputs = model(input_ids, attention_mask) _, predicted = torch.max(outputs, 1) accuracy = (predicted == labels).sum().item() / len(labels) print('Test accuracy:', accuracy) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微学AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值