论文阅读（2019） EmotionX-IDEA: Emotion BERT – an Affectional Model for Conversation

摘要

研究了预训练语言模型BERT的情感识别能力，根据两句结构的BERT框架的性质，使BERT适用于连续对话情感预测任务，这在很大程度上依赖于句子级的上下文感知理解

介绍

基于文本的情感检测应用可以从单个话语扩展到由一系列话语组成的对话，即使是同一个人说同一句话，它所传达的情感也可能是多种多样的，这可能取决于不同的谈话背景、说话语气或个性。因此，对于情绪检测，来自对话中先前话语的信息相对重要 

数据集

EmotionLines

模型 

 主要目标是预测对话中话语的情感。关注的四个主要困难:

1. 话语的情感不仅取决于文本，还取决于之前发生的互动
2. 两个数据集的来源不同。Friends是基于语音的对话，EmotionPush是基于聊天的对话。它使得数据集具有不同的特征
3. 在两个训练数据集中只有1000个对话，这对于训练复杂的基于神经的模型的稳定性来说不够大
4. 预测目标(情感标签)高度不平衡 

 Causal Utterance Modeling 因果话语建模

 给定包含话语序列的对话，为了保存话语和对话的情感信息，我们将每两个连续的话语重新排列成单个句子表示，注意会话中的第一个话语没有其原因话语(前一句)，原因话语将被设置为[none]

 由于两个数据集的特征不同，定制不同的因果话语建模策略来提炼文本中的信息。

1. Friends：有两个特定的属性。首先，大部分对话都围绕着六个主要人物展开。第二，六个角色的个人特征非常鲜明。每个主角都有自己的情感波动规律。为了利用这些特征，我们引入了有助于学习六个角色的个性的个性标记化。如果说话者是六个字符之一，个性标记化连接说话者并在输入话语之前说出标记。
2. EmotionPush：文本是非正式的聊天，包括俚语，缩写，打字，超链接和表情符号。另一个特点是特定的命名实体用随机索引来标记。我们认为这些非正式文本中的一些与表达情感有关，如重复键入、有意大写和表情符号。因此，我们保留了大多数非正式表达式，但只通过统一标记来处理超链接、空话语和命名实体。

 Model Pre-training 模型预训练

 两个数据集的大小对于复杂的基于神经的模型训练来说都不够大，并且BERT模型仅在正式文本数据集上进行预训练，所以过拟合和域偏差的问题是设计预训练过程的重要考虑因素。为了避免我们的模型在训练数据上过度拟合，并增加对非正式文本的理解，对BERT进行了修改，并导出了两个模型，即FriendsBERT和ChatBERT

1. FriendsBERT：收集了《老友记》所有十季电视节目的完整脚本，包括61，309个话语中的3，107个场景。所有的话语都按照前面提到的预处理方法组成用于掩蔽语言模型预训练任务的语料库。相同场景中的后续话语被视为后续句子，以预训练下一个句子预测任务。在预训练过程中，训练损失是两个训练前任务的平均可能性的总和
2. ChatBERT：在Twitter数据集上预训练我们的模型，因为Twitter上的文本和写作风格接近于聊天文本，其中两者都可能涉及许多非正式的单词或表情符号。twitter情绪数据集，来自情绪轮的8种基本情绪，由Twitter流API收集，具有特定的情绪相关标签，如#愤怒、#喜悦、#哭泣、#悲伤等。推文中的标签被视为模型微调的情感标签。这些推文经过精细的处理，包括删除重复的推文，情感标签必须出现在推文的最后位置。

Fine-tuning 

 

 Experiments

 

 Conclusion and Future work

 提出了FriendsBERT和ChatBERT用于情感线上的多话语情感识别任务。所提出的模型改编自BERT ，在模型训练过程中有三个主要改进，即因果话语建模机制、特定模型预训练和适应加权损失。因果话语建模在模型推理过程中利用了句子级的上下文信息。特定的模型预训练有助于克服不同文本领域的偏见。加权损失避免了我们的模型只能在大样本上预测。

1. 考虑加入条件概率约束。模型应该基于对情境情绪的某种理解来预测情绪。这对于引导模型来说可能比仅仅直接预测句子的情感更合理。
2. 由于BERT输入格式的限制，输入句子的模糊数现在正成为我们未来工作的一个重要设计要求
3. 个性嵌入开发将是情感识别的另一个未来工作。个性嵌入将被认为是注入到单词嵌入中的句子嵌入，并且看起来这种附加信息可能有助于一些改进。