通过 BertForSequenceClassification 构建用于情感分类的 BERT 模型,加载预训练权重,设置情感三分类的超参数自动构建模型。后面对模型采用自动混合精度操作,提高训练的速度,然后实例化优化器,紧接着实例化评价指标,设置模型训练的权重保存策略,最后就是构建训练器,模型开始训练。
预训练完成后,BERT将保存其嵌入表和Transformer的权重(基础版12层,大型版24层)。预训练好的BERT可用于微调后续任务,如文档分类、相似性评估和理解阅读等。
在对话情绪检测方面,侧重于判断智能对话中用户的情绪状态,对用户文本的情绪类型进行自动分类并提供置信度评估,包括正面、负面和中性等情绪类别。