《论文阅读》DialogXL: All-in-One XLNet for Multi-Party Conversation Emotion Recognition

出版：AAAI

时间：2021

类型：对话中的情感识别

特点：专门为ERC设计的模型，提供了一种寻找合适fixed length的方法，使用一种简单的方法来设计四种不同自注意力机制

作者：Weizhou Shen, Junqing Chen, Xiaojun Quan, Zhixian Xie

第一作者机构：Sun Yat-sen University, China

github：https://github.com/shenwzh3/DialogXL

简介

本文介绍了作者在预训练语言模型的对话 (ERC) 中进行情感识别的开创性工作。与常规文档不同，会话语句来自不同对话方的交替出现，并且在之前的工作中常用层次结构构建模型。这种结构不利于应用预训练的语言模型，如 XLNet。为了解决这个问题，我们提出了一个多合一的 XLNet 模型，即 DialogXL，具有存储更长的历史上下文的增强记忆模块来和处理多方结构的对话感知的自注意力。具体来说，我们首先将 XLNet 的递归机制从段级修改为话语级，以便更好地对会话数据进行建模。其次，我们引入了对话感知自注意力来代替 XLNet 中的普通自注意力，以捕获有用的说话人内部和说话人之间依赖关系。在四个 ERC 基准上进行了扩展实验，并提出了主流模型进行比较。实验结果表明，所提出的模型在所有数据集上都优于基线。还进行了消融研究和错误分析等其他几个实验，结果证实了 DialogXL 关键模块的作用。代码：https://github.com/shenwzh3/DialogXL.

思路出发点

1. 对于多方对话的模型构建࿰