昇思25天学习打卡营第6天 | 基于MindSpore实现BERT对话情绪识别

模型介绍

BERT，全名为“变换器架构中的双向编码器表示”（Bidirectional Encoder Representations from Transformers），是谷歌在2018年底推出的一种先进的语言处理模型。该模型，特别设计来对自然语言处理的多种任务，例如文本问答、实体识别、语义理解和文本分类，提供强大的支持。BERT基于Transformer的编码器构建，并采纳了双向架构以增强语言理解能力。

该模型的新颖之处主要体现在预训练策略上，通过掩码语言模型（Masked Language Model，MLM）和下一句预测（Next Sentence Prediction，NSP）两种方法来分别获得单词级和句子级的语义表示。

在掩码语言模型的训练阶段，随机选取文本中约15%的词汇进行掩码处理，这一处理步骤分成三种情况展开：80%用[Mask]符号替代、10%替换为其他词汇、余下10%保持不变。

为了增强模型处理诸如问题回答和语言推断等任务的能力，加入了下一句预测这一预训练任务。该任务旨在训练模型理解两个句子之间的逻辑关系。在该任务中，模型会接受一对句子A和B作为输入，B句以50%的概率是A句的直接后续，模型需判定B句是否为A句的后续。

预训练完成后，BERT将保存其嵌入表和Transformer的权重（基础版12层，大型版24层）。预训练好的BERT可用于微调后续任务，如文档分类、相似性评估和理解阅读等。

在对话情绪检测方面，侧重于判断智能对话中用户的情绪状态，对用户文本的情绪类型进行自动分类并提供置信度评估，包括正面、负面和中性等情绪类别。

数据集

[数据](https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -O emotion_detection.tar.gz)由两列组成，以制表符（‘\t’）分隔，第一列是情绪分类的类别（0表示消极；1表示中性；2表示积极），第二列是以空格分词的中文文本，如下示例，文件为 utf8 编码。

label–text_a

0–谁骂人了？我从来不骂人，我骂的都不是人，你是人吗 ？

1–我有事等会儿就回来和你聊

2–我见到你很高兴谢谢你帮我

这部分主要包括数据集读取，数据格式转换，数据 Tokenize 处理和 pad 操作。

数据加载与预处理

# 新建 process_dataset 函数用于数据加载和数据预处理，具体内容可见下面代码注释
import numpy as np

def process_dataset(source, tokenizer, max_seq_len=64, batch_size=32, shuffle=True):
    is_ascend = mindspore.get_context('device_target') == 'Ascend'

    column_names = ["label", "text_a"]
    
    dataset = GeneratorDataset(source, column_names=column_names, shuffle=shuffle)
    # transforms
    type_cast_op = transforms.TypeCast(mindspore.int32)
    def tokenize_and_pad(text):
        if is_ascend:
            tokenized = tokenizer(text, padding='max_length', truncation=True, max_length=max_seq_len)
        else:
            tokenized = tokenizer(text)
        return tokenized['input_ids'], tokenized['attention_mask']
    # map dataset 映射数据集
    dataset = dataset.map(operations=tokenize_and_pad, input_columns="text_a", output_columns=['input_ids', 'attention_mask'])
    dataset = dataset.map(operations=[type_cast_op], input_columns="label", output_columns='labels')
    # batch dataset 批处理数据集
    if is_ascend:
        dataset = dataset.batch(batch_size)
    else:
        dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (None, tokenizer.pad_token_id),
                                                         'attention_mask': (None, 0)})

    return dataset


# 昇腾NPU环境下暂不支持动态Shape，数据预处理部分采用静态Shape处理
from mindnlp.transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

tokenizer.pad_token_id

dataset_train = process_dataset(SentimentDataset("data/train.tsv"), tokenizer)
dataset_val = process_dataset(SentimentDataset("data/dev.tsv"), tokenizer)
dataset_test = process_dataset(SentimentDataset("data/test.tsv"), tokenizer, shuffle=False)

模型构建

通过 BertForSequenceClassification 构建用于情感分类的 BERT 模型，加载预训练权重，设置情感三分类的超参数自动构建模型。后面对模型采用自动混合精度操作，提高训练的速度，然后实例化优化器，紧接着实例化评价指标，设置模型训练的权重保存策略，最后就是构建训练器，模型开始训练。

from mindnlp.transformers import BertForSequenceClassification, BertModel
from mindnlp._legacy.amp import auto_mixed_precision

# 设置 bert 配置并定义训练参数
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=3)
model = auto_mixed_precision(model, 'O1')

optimizer = nn.Adam(model.trainable_params(), learning_rate=2e-5)

metric = Accuracy()
# 定义回调(Callback)以保存检查点
ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='bert_emotect', epochs=1, keep_checkpoint_max=2)
best_model_cb = BestModelCallback(save_path='checkpoint', ckpt_name='bert_emotect_best', auto_load=True)

trainer = Trainer(network=model, train_dataset=dataset_train,
                  eval_dataset=dataset_val, metrics=metric,
                  epochs=5, optimizer=optimizer, callbacks=[ckpoint_cb, best_model_cb])

# 开始训练
trainer.run(tgt_columns="labels")

模型验证

evaluator = Evaluator(network=model, eval_dataset=dataset_test, metrics=metric)
evaluator.run(tgt_columns="labels")

模型推理

# 遍历推理数据集，将结果与标签进行统一展示
dataset_infer = SentimentDataset("data/infer.tsv")

def predict(text, label=None):
    label_map = {0: "消极", 1: "中性", 2: "积极"}

    text_tokenized = Tensor([tokenizer(text).input_ids])
    logits = model(text_tokenized)
    predict_label = logits[0].asnumpy().argmax()
    info = f"inputs: '{text}', predict: '{label_map[predict_label]}'"
    if label is not None:
        info += f" , label: '{label_map[label]}'"
    print(info)


from mindspore import Tensor
for label, text in dataset_infer:
    predict(text, label)