【论文泛读】Multi-modal Sarcasm Detection and Humor Classification in Code-mixed Conversations

摘要

  讽刺检测和幽默分类本质上是一个微妙的问题，主要是因为它们依赖于语境和非语言信息。此外，由于缺乏定性注释数据集，这两个主题的现有研究通常局限于印地语等非英语语言。在这项工作中，考虑到上述局限性，我们做出了两大贡献：
（1）我们开发了一个印地语-英语代码混合数据集MaSaC1，用于会话对话中的多模态讽刺检测和幽默分类，据我们所知，这是第一个此类数据集；
（2） 我们提出了MSH-COMICS2，一种用于话语分类的新的注意力丰富的神经结构。
  我们学习有效的话语表达利用层次注意机制，一次只注意输入句子的一小部分。此外，我们结合对话级上下文注意机制，利用对话历史进行多模态分类。我们通过改变多模态输入和MSH-COMICS的不同子模块，对这两项任务进行了广泛的实验。我们还对现有方法进行了比较分析。我们观察到，MSH-COMICS在讽刺检测和幽默分类方面的得分分别超过1分和10分，其表现优于现有模型。我们诊断我们的模型，并对结果进行彻底分析，以了解其优越性和缺陷。

创新点：

• 我们开发了MaSaC，一个用于讽刺检测和幽默分类的定性多模式数据集
• 我们提出了一种新的多模态上下文句子分类体系结构
• 我们为拟议数据集上的两项任务提供了强有力的基线
• 我们报告了对实验结果和报告误差的详细分析
• 通过我们开发的MaSaC数据集，我们为社区提供了一个在印度背景下开展代码混合环境研究的机会。

可以参考的内容：

1. 语境话语的重要性：根据上下文推断词汇重要性
2. 使用一个噪声过滤器：在将这些表示输入到完全连接的层之前，加入了噪声过滤机制，以增强每个模态的表示。过滤机制背后的直觉是了解现有模式之间的相互作用，然后根据其他模式过滤噪声。我们认为，过滤机制可以帮助模型只传递相关的特征，这样，不同模式的过滤表示可以相互补充，保留不同的特征。对于每种模式，我们实施如下过滤：

  其中σ（·）指的是S形函数，在培训期间学习。由于σ（·）位于[0,1]范围内，因此它控制可通过过滤器的信息量，即。E接近0的值表示非常不相关的信息，并且被阻止，而对于接近1的值，所有信息都可以转发到上层。最后，我们将过滤后的表示与交叉模式的参与向量一起用于最终分类。

模型

  评论由文档 C 的集合组成。每个文档是 L 个句子的序列，si, i∈ [1, L]。每个句子由 K 个单词 xi,k, k∈ [1, K] 组成。每个文档有一组 N 个图像 gj∈{g1, g2, … , gN​​}，每个图像的向量表示记为 ej。我们研究的目标是训练分类函数来预测未见文档的情感标签。
  我们的模型是一个四层的分层架构，如图 3 所示。底层是自我注意层，它试图对每个词向量进行编码。下一层是带有软注意力的词编码层，将词向量编码为句子向量。第三层是具有视觉方面注意的句子编码层。顶层是情感标签的分类层。
  我们的模型与之前模型的主要区别在于我们提出了一种基于视觉的分层注意力机制，通过aspect attention、sentence attention、self-attention，整合文字和图片，提升在线评论情感分析的有效性。通过我们的设计，在线评论的文本和图像信息都可以反映在情感分析过程中。通过使用分层注意力网络，特别是自注意力方法，我们可以对文本之间的词间相关性以及文本和图像之间的交互进行建模，从而提高在线评论情感分析的性能。