【论文笔记】基于多模态对话方面的情绪分析的模型

写在前面

        这篇论文原标题：PanoSent: A Panoptic Sextuple Extraction Benchmark for

Multimodal Conversational Aspect-based Sentiment Analysis，发表在ACM MM 2024上

背景

        现有的情感分析研究在多模态性、对话上下文、细粒度情感元素以及情感动态变化和认知因果理由的整合方面存在不足。为了弥补这些差距，论文提出了一种多模态对话基于方面的情感分析（ABSA）方法，旨在更全面地理解和分析情感。

数据集

        作者还构建了一个大规模、高质量的数据集PanoSent，相较于传统的数据集它包含手动和自动注释，覆盖了多种语言和场景。数据集特点包括细粒度情感定义、认知因果理由、动态情感翻转、多场景、多模态性、多语言性和隐式ABSA。下图PanoSent与其他数据集的比较。

        在此数据集中包含英语、汉语和西班牙语的文本、图像、音频和视频等多种模态的数据，场景为对话聊天数据，详细标注了情感持有者、目标、方面、观点和理由等六个关键元素组成的六元组，在这个数据集中体现出了因果推理和情感的转变（，还包括了需要从上下文或多模态信息中隐式推断的情感元素，以及直接在文本中明确提及的显式情感元素的数据。下图为文章提到的一个例子，包括了六元组的现实含义、隐式和显示的情感推理和情感的翻转&