昇思25天学习打卡营第25天|基于 MindSpore 实现 BERT 对话情绪识别

相关知识

Bert

Bidirectional Encoder Representation from Transformers 来自变换器的双向编码器表征量。2018年Google发布。
模型使用了Masked Language Model和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation.
前者指随机将语料库中15%的单词做mask操作。包含三种操作，分别是80%直接用[mask]标识替换，10%的单词直接替换成一个新单词，10%的单词保持不变。后者针对QA和NLI（Natural Language Inference），可以使模型理解两个句子之间的联系。具体的，输入句子A和B，模型预测是否B使A的下一句，是或否均是一半几率。
完成预训练后，保存embedding table、12层transformer权重（Bert-Base）/24层权重（Bert-Large）。下游的具体任务如文本分类、相似度判断等可使用预训练模型微调。

对话情绪识别

Emotion Detection，简称EmoTect。针对智能对话场景下的用户输入，判断文本的情绪类别（积极、消极、中性）并给出对应置信度。

实验

数据集

数据来自百度飞桨，内容为经过分词处理的已标注的机器人聊天数据集。数据包含两列，以制表符分割。第一列是情绪分类的类别，第二列是中文文本。

数据处理

def process_dataset(source, tokenizer, max_seq_len=64, batch_size=32, shuffle=True):
    is_ascend = mindspore.get_context('device_target') == 'Ascend'

    column_names = ["label", "text_a"]
    
    dataset = GeneratorDataset(source, column_names=column_names, shuffle=shuffle)
    # transforms
    type_cast_op = transforms.TypeCast(mindspore.int32)
    def tokenize_and_pad(text):
        if is_ascend:
            tokenized = tokenizer(text, padding='max_length', truncation=True, max_length=max_seq_len)
        else:
            tokenized = tokenizer(text)
        return tokenized['input_ids'], tokenized['attention_mask']
    # map dataset
    dataset = dataset.map(operations=tokenize_and_pad, input_columns="text_a", output_columns=['input_ids', 'attention_mask'])
    dataset = dataset.map(operations=[type_cast_op], input_columns="label", output_columns='labels')
    # batch dataset
    if is_ascend:
        dataset = dataset.batch(batch_size)
    else:
        dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (None, tokenizer.pad_token_id),
                                                         'attention_mask': (None, 0)})

    return dataset

# 分词器使用bert-base-chinese
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
dataset_train = process_dataset(SentimentDataset("data/train.tsv"), tokenizer)
dataset_val = process_dataset(SentimentDataset("data/dev.tsv"), tokenizer)
dataset_test = process_dataset(SentimentDataset("data/test.tsv"), tokenizer, shuffle=False)

模型构建

模型构建分成几步

1. 加载预训练模型，设为三分类
2. 设置自动混合精度，可以加速训练
3. 选择Adam优化器，定义评价指标
4. 设置权重保存策略
5. 构建训练器，开始训练

model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=3)
model = auto_mixed_precision(model, 'O1')

optimizer = nn.Adam(model.trainable_params(), learning_rate=2e-5)

metric = Accuracy()
# define callbacks to save checkpoints
ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='bert_emotect', epochs=1, keep_checkpoint_max=2)
best_model_cb = BestModelCallback(save_path='checkpoint', ckpt_name='bert_emotect_best', auto_load=True)

trainer = Trainer(network=model, train_dataset=dataset_train,
                  eval_dataset=dataset_val, metrics=metric,
                  epochs=5, optimizer=optimizer, callbacks=[ckpoint_cb, best_model_cb])

# start training
trainer.run(tgt_columns="labels")

模型验证

evaluator = Evaluator(network=model, eval_dataset=dataset_test, metrics=metric)
evaluator.run(tgt_columns="labels")

模型推理

展示标签和结果

dataset_infer = SentimentDataset("data/infer.tsv")
def predict(text, label=None):
    label_map = {0: "消极", 1: "中性", 2: "积极"}

    text_tokenized = Tensor([tokenizer(text).input_ids])
    logits = model(text_tokenized)
    predict_label = logits[0].asnumpy().argmax()
    info = f"inputs: '{text}', predict: '{label_map[predict_label]}'"
    if label is not None:
        info += f" , label: '{label_map[label]}'"
    print(info)

from mindspore import Tensor

for label, text in dataset_infer:
    predict(text, label)

总结

本章使用bert完成了智能对话场景下的情感识别，情感包括正面、负面、中性，可以帮助改善产品体验、或提升客服质量等。直接加载bert的预训练模型，给出分类数，再定义优化器、评价指标，构建训练器即可。可以直接使用bert-chinese的分词器。

打卡凭证