20210925_NLP之transformer_NLP之文本分类

最新推荐文章于 2024-06-10 17:43:20 发布
最新推荐文章于 2024-06-10 17:43:20 发布
阅读量477 收藏
点赞数 1
文章标签： transformer 自然语言处理 深度学习
原文链接：https://github.com/datawhalechina/learn-nlp-with-transformers
版权

六、文本分类

在这里插入图片描述

目录

来源

Datewhle29期__NLP之transformer :

  • erenup(多多笔记)，北京大学，负责人
  • 张帆，Datawhale，天津大学，篇章4
  • 张贤，哈尔滨工业大学，篇章2
  • 李泺秋，浙江大学，篇章3
  • 蔡杰，北京大学，篇章4
  • hlzhang，麦吉尔大学，篇章4
  • 台运鹏 篇章2
  • 张红旭 篇章2

学习资料地址：
https://datawhalechina.github.io/learn-nlp-with-transformers/#/
github地址:
https://github.com/datawhalechina/learn-nlp-with-transformers

1.1 部分分类任务

在这里插入图片描述

  • GLUE榜单包含了9个句子级别的分类任务，分别是:

    • CoLA (Corpus of Linguistic Acceptability) 鉴别一个句子是否语法正确.
    • MNLI (Multi-Genre Natural Language Inference) 给定一个假设，判断另一个句子与该假设的关系：entails, contradicts 或者 unrelated。
    • MRPC (Microsoft Research Paraphrase Corpus) 判断两个句子是否互为paraphrases
    • QNLI (Question-answering Natural Language Inference) 判断第2句是否包含第1句问题的答案。
    • QQP (Quora Question Pairs2) 判断两个问句是否语义相同。
    • RTE (Recognizing Textual Entailment)判断一个句子是否与假设成entail关系。
    • SST-2 (Stanford Sentiment Treebank) 判断一个句子的情感正负向.
    • STS-B (Semantic Textual Similarity Benchmark) 判断两个句子的相似性（分数为1-5分）。
    • WNLI (Winograd Natural Language Inference) 判断一个有匿名代词的句子和一个有该代词被替换的句子是否包含
GLUE_TASKS = ["cola", "mnli", "mnli-mm", "mrpc", "qnli", "qqp", "rte", "sst2", "stsb", "wnli"]

1.2 加载数据

  • 数据加载和评测方式加载只需要简单使用load_dataset和load_metric即可。
from datasets import load_dataset, load_metric
  • 除了mnli-mm以外，其他任务都可以直接通过任务名字进行加载。数据加载之后会自动缓存。
actual_task = "mnli" if task == "mnli-mm" else task
dataset = load_dataset("glue", actual_task)
metric = load_metric('glue', actual_task)

在这里插入图片描述

  • 评估metic是datasets.Metric的一个实例:
metric

Metric(name: "glue", features: {'predictions': Value(dtype='int64', id=None), 'references': Value(dtype='int64', id=None)}, usage: """
Compute GLUE evaluation metric associated to each GLUE dataset.
Args:
    predictions: list of predictions to score.
        Each translation should be tokenized into a list of tokens.
    references: list of lists of references for each translation.
        Each reference should be tokenized into a list of tokens.
Returns: depending on the GLUE subset, one or several of:
    "accuracy": Accuracy
    "f1": F1 score
    "pearson": Pearson Correlation
    "spearmanr": Spearman Correlation
    "matthews_correlation": Matthew Correlation
Examples:

    >>> glue_metric = datasets.load_metric('glue', 'sst2')  # 'sst2' or any of ["mnli", "mnli_mismatched", "mnli_matched", "qnli", "rte", "wnli", "hans"]
    >>> references = [0, 1]
    >>> predictions = [0, 1]
    >>> results = glue_metric.compute(predictions=predictions, references=references)
    >>> print(results)
    {'accuracy': 1.0}

    >>> glue_metric = datasets.load_metric('glue', 'mrpc')  # 'mrpc' or 'qqp'
    >>> references = [0, 1]
    >>> predictions = [0, 1]
    >>> results = glue_metric.compute(predictions=predictions, references=references)
    >>> print(results)
    {'accuracy': 1.0, 'f1': 1.0}

    >>> glue_metric = datasets.load_metric('glue', 'stsb')
    >>> references = [0., 1., 2., 3., 4., 5.]
    >>> predictions = [0., 1., 2., 3., 4., 5.]
    >>> results = glue_metric.compute(predictions=predictions, references=references)
    >>> print({"pearson": round(results["pearson"], 2), "spearmanr": round(results["spearmanr"], 2)})
    {'pearson': 1.0, 'spearmanr': 1.0}

    >>> glue_metric = datasets.load_metric('glue', 'cola')
    >>> references = [0, 1]
    >>> predictions = [0, 1]
    >>> results = glue_metric.compute(predictions=predictions, references=references)
    >>> print(results)
    {'matthews_correlation': 1.0}
""", stored examples: 0)
  • 直接调用metric的compute方法，传入labels和predictions即可得到metric的值：
  • metric的compute是通过使用datasets.Metric.compute()方法完成的。预测和推荐:你可以添加预测和推荐(如果你使用了datasets.Metric.add()或datasets.Metric，它们会被添加到缓存的末尾。Add_batch () before)特定的参数，这些参数可以是必需的，或者可以修改某些指标的行为(打印指标输入描述以查看使用print (metric)或print (metric.inputs_description)的详细信息)。
import numpy as np

fake_preds = np.random.randint(0, 2, size=(64,))
fake_labels = np.random.randint(0, 2, size=(64,))
metric.compute(predictions=fake_preds, references=fake_labels)

在这里插入图片描述
每一个文本分类任务所对应的metic有所不同，具体如下:

    for CoLA: Matthews Correlation Coefficient
    for MNLI (matched or mismatched): Accuracy
    for MRPC: Accuracy and F1 score
    for QNLI: Accuracy
    for QQP: Accuracy and F1 score
    for RTE: Accuracy
    for SST-2: Accuracy
    for STS-B: Pearson Correlation Coefficient and Spearman's_Rank_Correlation_Coefficient
    for WNLI: Accuracy

所以一定要将metric和任务对齐

1.3 数据预处理

  • 预处理的工具叫Tokenizer。Tokenizer首先对输入进行tokenize，然后将tokens转化为预模型中需要对应的token ID，再转化为模型需要的输入格式。

  • 为了达到数据预处理的目的，我们使用AutoTokenizer.from_pretrained方法实例化我们的tokenizer，这样可以确保：

    • 我们得到一个与预训练模型一一对应的tokenizer。
    • 使用指定的模型checkpoint对应的tokenizer的时候，我们也下载了模型需要的词表库vocabulary，准确来说是tokens vocabulary。

这个被下载的 tokens vocabulary会被缓存起来，从而再次使用的时候不会重新下载。

from transformers import AutoTokenizer
    
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint, use_fast=True)  #use_fast=True要求tokenizer必须是transformers.PreTrainedTokenizerFast类型

在这里插入图片描述

  • 由于在预处理的时候需要用到fast tokenizer的一些特殊特性（比如多线程快速tokenizer）,因此use_fast=True要求tokenizer必须是transformers.PreTrainedTokenizerFast类型。如果对应的模型没有fast tokenizer，去掉这个选项即可。

  • tokenizer既可以对单个文本进行预处理，也可以对一对文本进行预处理，tokenizer预处理后得到的数据满足预训练模型输入格式

tokenizer("Hello, this one sentence!", "And this sentence goes with it.")

{'input_ids': [101, 7592, 1010, 2023, 2028, 6251, 999, 102, 1998, 2023, 6251, 3632, 2007, 2009, 1012, 102], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]}
  • 为了预处理我们的数据，我们需要知道不同数据和对应的数据格式，因此我们定义下面这个dict。
task_to_keys = {
    "cola": ("sentence", None),
    "mnli": ("premise", "hypothesis"),
    "mnli-mm": ("premise", "hypothesis"),
    "mrpc": ("sentence1", "sentence2"),
    "qnli": ("question", "sentence"),
    "qqp": ("question1", "question2"),
    "rte": ("sentence1", "sentence2"),
    "sst2": ("sentence", None),
    "stsb": ("sentence1", "sentence2"),
    "wnli": ("sentence1", "sentence2"),
}

#数据格式检查
sentence1_key, sentence2_key = task_to_keys[task]
if sentence2_key is None:
    print(f"Sentence: {dataset['train'][0][sentence1_key]}")
else:
    print(f"Sentence 1: {dataset['train'][0][sentence1_key]}")
    print(f"Sentence 2: {dataset['train'][0][sentence2_key]}")

Sentence: Our friends won't buy this analysis, let alone the next one we propose.

#将预处理的代码放到一个函数中：
def preprocess_function(examples):
    if sentence2_key is None:
        return tokenizer(examples[sentence1_key], truncation=True)
    return tokenizer(examples[sentence1_key], examples[sentence2_key], truncation=True)
  • 预处理函数可以处理单个样本，也可以对多个样本进行处理。如果输入是多个样本，那么返回的是一个list
preprocess_function(dataset['train'][:5])

{'input_ids': [[101, 2256, 2814, 2180, 1005, 1056, 4965, 2023, 4106, 1010, 2292, 2894, 1996, 2279, 2028, 2057, 16599, 1012, 102], [101, 2028, 2062, 18404, 2236, 3989, 1998, 1045, 1005, 1049, 3228, 2039, 1012, 102], [101, 2028, 2062, 18404, 2236, 3989, 2030, 1045, 1005, 1049, 3228, 2039, 1012, 102], [101, 1996, 2062, 2057, 2817, 16025, 1010, 1996, 13675, 16103, 2121, 2027, 2131, 1012, 102], [101, 2154, 2011, 2154, 1996, 8866, 2024, 2893, 14163, 8024, 3771, 1012, 102]], 'attention_mask': [[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]]}
  • 对数据集datasets里面的所有样本进行预处理，处理的方式是使用map函数，将预处理函数prepare_train_features应用到（map)所有样本上。
encoded_dataset = dataset.map(preprocess_function, batched=True)

在这里插入图片描述

1.4 微调预训练模型

  • 使用AutoModelForSequenceClassification 这个类。和tokenizer相似，from_pretrained方法同样可以帮助我们下载并加载模型
    STS-B是一个回归问题，MNLI是一个3分类问题：
#模型会缓存
from transformers import AutoModelForSequenceClassification, TrainingArguments, Trainer

num_labels = 3 if task.startswith("mnli") else 1 if task=="stsb" else 2
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint, num_labels=num_labels)
  • 为了能够得到一个Trainer训练工具，我们还需要3个要素，其中最重要的是训练的设定/参数 TrainingArguments。这个训练设定包含了能够定义训练过程的所有属性。
metric_name = "pearson" if task == "stsb" else "matthews_correlation" if task == "cola" else "accuracy"

args = TrainingArguments(
    "test-glue",
    evaluation_strategy = "epoch",
    save_strategy = "epoch",
    learning_rate=2e-5,
    per_device_train_batch_size=batch_size,
    per_device_eval_batch_size=batch_size,
    num_train_epochs=5,
    weight_decay=0.01,
    load_best_model_at_end=True,
    metric_for_best_model=metric_name,
)
  • 定一个函数来根据任务名字得到评价方法, 传给 Trainer:
def compute_metrics(eval_pred):
    predictions, labels = eval_pred
    if task != "stsb":
        predictions = np.argmax(predictions, axis=1)
    else:
        predictions = predictions[:, 0]
    return metric.compute(predictions=predictions, references=labels)


validation_key = "validation_mismatched" if task == "mnli-mm" else "validation_matched" if task == "mnli" else "validation"
trainer = Trainer(
    model,
    args,
    train_dataset=encoded_dataset["train"],
    eval_dataset=encoded_dataset[validation_key],
    tokenizer=tokenizer,
    compute_metrics=compute_metrics
)
  • 开始训练:
trainer.train()

在这里插入图片描述

在这里插入图片描述

#评估
trainer.evaluate()

在这里插入图片描述

1.5 超参搜索

  • Trainer同样支持超参搜索，使用optuna or Ray Tune代码库。

  • 超参搜索时，Trainer将会返回多个训练好的模型，所以需要传入一个定义好的模型从而让Trainer可以不断重新初始化该传入的模型：

  • 调用方法hyperparameter_search。注意，这个过程可能很久，我们可以先用部分数据集进行超参搜索，再进行全量训练。 比如使用1/10的数据进行搜索：



best_run = trainer.hyperparameter_search(n_trials=10, direction="maximize")

hyperparameter_search会返回效果最好的模型相关的参数：

best_run
  • 将Trainner设置为搜索到的最好参数，进行训练：
for n, v in best_run.hyperparameters.items():
    setattr(trainer.args, n, v)

trainer.train()
余柳成荫
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
transformers文本分类
LLMUZI123456789的博客
02-27 522
文本分类是最常见的NLP任务之一，做其他NLP任务处理时的步骤流程基本一样，主要在于不同任务需要做不同的数据处理，下面介绍如何使用transformers做文本分类的一个大致流程。
【NLP】使用Transformer模型进行文本分类
fengdu78的博客
10-20 5951
作者 | Eric Fillion编译 | VK来源 | Towards Data Science文本分类是NLP最常见的应用。与大多数NLP应用一样，Transformer模型近年来在该...
深度学习之文本分类模型-基于transformer
最新发布
2401_85325397的博客
06-10 942
GPT是由openAI提出的一种算法思想\[2\]，其主要思想是通过在大规模的预料上进行模型的训练，然后在特定任务上进行为调。所以其总体思想分为无监督的训练和有监督的微调。
Transformers_for_Text_Classification：基于Transformers的文本分类
02-03
Transformers_for_Text_Classification 基于Transformers的文本分类 基于最新的出品的v2.2.2代码进行重构。为了保证代码日后可以直接复现而不出现兼容性问题，这里将放到本地进行调用。 强调 支持transformer模型后接各种特征提取器 支持测试集预测代码 精简原始变形金刚代码，使之更适合文本分类任务 优化日志记录终端输出，使之输出内容更加合理 支持 型号： 伯特 伯特·cnn bert_lstm 伯特·格鲁 互联网 xlnet_cnn xlnet_lstm xlnet_gru 阿尔伯特 内容 数据集：存放数据集 pretrai
文本分类实战（八）—— Transformer模型
weixin_30814319的博客
01-02 1299
1 大纲概述 　　文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： 　　word2vec预训练词向量 　　textCNN 模型 　　charCNN 模型 　　Bi-LSTM 模型 　　Bi-LSTM + Attention 模型 　　RCNN 模型 　　Adversarial LS...
文本分类——搭建Transformer模型
青春正年少我要大声笑lamusique
04-24 1658
文本分类——搭建Transformer模型 Keras官方案例链接Tensorflow官方案例链接Paddle官方案例链接Pytorch官方案例链接 本文参考博客有：https://blog.csdn.net/qq_44574333/article/details/109637755 注：本系列仅帮助大家快速理解、学习并能独立使用相关框架进行深度学习的研究，理论部分还请自行学习补充，每个框架的官方经典案例写的都非常好，很值得进行学习使用。可以说在完全理解官方经典案例后加以修改便可以解决大多数常见.
NLP.zip_NLP_nlp处理docx_python nlp_自然语言处理
09-24
自然语言处理的应用广泛，包括情感分析（判断文本的情感倾向）、问答系统（如Siri或Alexa）、机器翻译、文本分类（如垃圾邮件检测）、信息抽取（提取结构化信息）等。随着深度学习技术的发展，尤其是Transformer和...
NLP.zip_nlp相似度_python_semantic similarity_自然语言处理_语义相似度
09-24
自然语言处理（NLP）是计算机科学领域的一个重要分支，主要关注如何使计算机理解、解析、生成和操作人类语言。在本项目“NLP.zip”中，重点是使用Python进行语义相似度的计算，这是NLP中的核心任务之一。语义相似度...
自然语言处理+Transformer+文本分类+情感分析
01-04
自然语言处理+Transformer+文本分类+情感分析 自然语言处理+YOLO+图像描述+图文生成 使用Transformer模型进行文本分类和情感分析的教程，介绍了Transformer模型的基本原理、结构和实现方法，以及如何使用Hugging ...
NLP-基于Transformer实现的的文本分类算法.zip
03-03
自然语言处理（NLP）是计算机科学领域的一个重要分支，主要关注如何使计算机理解、解析、生成和操作人类语言。近年来，随着深度学习技术的发展，尤其是Transformer模型的提出，NLP领域取得了显著的进步。Transformer...
自然语言处理（NLP）、Transformer、Yolo等相关技术的资源
08-04
自然语言处理（NLP）、Transformer、Yolo 等相关技术的资源 自然语言处理（NLP）是一种人工智能技术，旨在让计算机能够理解、处理和生成人类语言。Transformer 是一种基于自注意力机制的深度学习模型，广泛应用于...
X-Transformer：为eXtreme多标签文本分类驯服预训练的变压器-C/C++开发
05-27
X-Transformer：为eXtreme多标签文本分类驯服预训练的变压器针对XMC问题的Tam预训练变压器。这是以下论文的实验代码的自述文件。于,、钟中，杨一鸣，Inderjit Dhillon通过Conda Environment> conda env create -f environment.yml>源激活pt1.2_xmlc_transformer>（pt1.2_xmlc_transformer）pip install -e安装KDD 2020。 >（pt1.2_xmlc_transformer）python setup.py在
6. 文本分类——transformer模型
热门推荐
qq_38293297的博客
03-22 1万+
文章目录一、简介二、transformer结构三、用于文本分类的transformer1. embedding layer（嵌入层）2. positional encoding（位置编码）3. Scaled dot-product attention（缩放的点乘注意力机制）4. Multi-head attention（多头注意力）5. Padding mask6. 残差连接7. Layer No...
【Transformers】第 2 章：文本分类
sikh_0529的博客
11-08 644
为了热身，让我们检索单个字符串的最后隐藏状态。我们需要做的第一件事是对字符串进行编码并将标记转换为 PyTorch 张量。这可以通过向标记器提供参数来完成，如下所示如我们所见，生成的张量具有形状。现在我们将编码作为张量，最后一步是将它们放在与模型相同的设备上，并按如下方式传递输入在这里，我们使用了上下文管理器来禁用梯度的自动计算。这对于推理很有用，因为它减少了计算的内存占用。根据模型配置，输出可以包含多个对象，例如隐藏状态、损失或注意，它们排列在类似于namedtuplePython 中的 a 的类中。
Transformer玩转文本分类:原理剖析与代码实践
禅与计算机程序设计艺术
05-16 370
1. 背景介绍 1.1 文本分类的意义 文本分类是自然语言处理（NLP）领域的一项重要任务，其目标是将文本数据自动分类到预定义的类别中。这项技术在许多领域都有着广泛的应用，例如： 垃圾邮件过滤: 将电子邮件分类为垃圾邮件或非垃圾邮件。
深入浅出对话系统——使用Transformer进行文本分类
日积月累，天道酬勤
07-03 3331
我们将展示使用🤗Transformer库中的模型来解决文本分类任务，任务来源于GLUE Benchmark。
基于Transformer实现文本分类（Keras/TensorFlow）
白马负金羁
02-16 2707
2017年，Google 在论文 Attention is All you need 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。而且实验也证明Transformer 在效果上已经完败传统的 RNN 网络
新闻文本分类任务：使用Transformer实现
Chaos的博客
03-23 2605
自然语言处理（NLP）领域中的新闻文本分类任务旨在将一段文本自动分类到某个预定义的类别中，例如体育、政治、科技、娱乐等等。这是一个重要的任务，因为在日常生活中，我们需要处理各种类型的文本，并且需要在其中找到特定的信息。新闻文本分类任务的自动化可以帮助我们更快地了解大量的文本，并提供更好的搜索和推荐服务。在本文中，我们将介绍一些新闻文本分类任务的最新研究，并探讨它们的优势和劣势。
Transformer文本分类工作流程及复现
WGS.
09-23 974
Transformer文本分类工作流程及复现
BERT原理解析：自然语言处理与Transformer网络
该资源是一份关于自然语言处理（NLP）技术的详细讲解文档，主要聚焦于BERT（Bidirectional Encoder Representations from Transformers）模型的原理和应用。课程通过通俗易懂的方式讲解知识点，并结合项目实战，涵盖...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值