相关知识
Bert
Bidirectional Encoder Representation from Transformers 来自变换器的双向编码器表征量。2018年Google发布。
模型使用了Masked Language Model和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation.
前者指随机将语料库中15%的单词做mask操作。包含三种操作,分别是80%直接用[mask]标识替换,10%的单词直接替换成一个新单词,10%的单词保持不变。后者针对QA和NLI(Natural Language Inference),可以使模型理解两个句子之间的联系。具体的,输入句子A和B,模型预测是否B使A的下一句,是或否均是一半几率。
完成预训练后,保存embedding table、12层transformer权重(Bert-Base)/24层权重(Bert-Large)。下游的具体任务如文本分类、相似度判断等可使用预训练模型微调。
对话情绪识别
Emotion Detection,简称EmoTect。针对智能对话场景下的用户输入,判断文本的情绪类别(积极、消极、中性)并给出对应置信度。
实验
数据集
数据来自百度飞桨,内容为经过分词处理的已标注的机器人聊天数据集。数据包含两列,以制表符分割。第一列是情绪分类的类别,第二列是中文文本。
数据处理
def process_dataset(source, tokenizer, max_seq_len=64, batch_size=32, shuffle=True):
is_ascend = mindspore.get_context('device_target') == 'Ascend'
column_names = ["label", "text_a"]
dataset = GeneratorDataset(source, column_names=column_names, shuffle=shuffle)
# transforms
type_cast_op = transforms.TypeCast(mindspore.int32)
def tokenize_and_pad(text):
if is_ascend:
tokenized = tokenizer(text, padding='max_length', truncation=True, max_length=max_seq_len)
else:
tokenized = tokenizer(text)
return tokenized['input_ids'], tokenized['attention_mask']
# map dataset
dataset = dataset.map(operations=tokenize_and_pad, input_columns="text_a", output_columns=['input_ids', 'attention_mask'])
dataset = dataset.map(operations=[type_cast_op], input_columns="label", output_columns='labels')
# batch dataset
if is_ascend:
dataset = dataset.batch(batch_size)
else:
dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (None, tokenizer.pad_token_id),
'attention_mask': (None, 0)})
return dataset
# 分词器使用bert-base-chinese
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
dataset_train = process_dataset(SentimentDataset("data/train.tsv"), tokenizer)
dataset_val = process_dataset(SentimentDataset("data/dev.tsv"), tokenizer)
dataset_test = process_dataset(SentimentDataset("data/test.tsv"), tokenizer, shuffle=False)
模型构建
模型构建分成几步
- 加载预训练模型,设为三分类
- 设置自动混合精度,可以加速训练
- 选择Adam优化器,定义评价指标
- 设置权重保存策略
- 构建训练器,开始训练
model = BertForSequenceClassification.from_pretrained('bert-base-chinese', num_labels=3)
model = auto_mixed_precision(model, 'O1')
optimizer = nn.Adam(model.trainable_params(), learning_rate=2e-5)
metric = Accuracy()
# define callbacks to save checkpoints
ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='bert_emotect', epochs=1, keep_checkpoint_max=2)
best_model_cb = BestModelCallback(save_path='checkpoint', ckpt_name='bert_emotect_best', auto_load=True)
trainer = Trainer(network=model, train_dataset=dataset_train,
eval_dataset=dataset_val, metrics=metric,
epochs=5, optimizer=optimizer, callbacks=[ckpoint_cb, best_model_cb])
# start training
trainer.run(tgt_columns="labels")
模型验证
evaluator = Evaluator(network=model, eval_dataset=dataset_test, metrics=metric)
evaluator.run(tgt_columns="labels")
模型推理
展示标签和结果
dataset_infer = SentimentDataset("data/infer.tsv")
def predict(text, label=None):
label_map = {0: "消极", 1: "中性", 2: "积极"}
text_tokenized = Tensor([tokenizer(text).input_ids])
logits = model(text_tokenized)
predict_label = logits[0].asnumpy().argmax()
info = f"inputs: '{text}', predict: '{label_map[predict_label]}'"
if label is not None:
info += f" , label: '{label_map[label]}'"
print(info)
from mindspore import Tensor
for label, text in dataset_infer:
predict(text, label)
总结
本章使用bert完成了智能对话场景下的情感识别,情感包括正面、负面、中性,可以帮助改善产品体验、或提升客服质量等。直接加载bert的预训练模型,给出分类数,再定义优化器、评价指标,构建训练器即可。可以直接使用bert-chinese的分词器。