How you feelin’? Learning Emotions and Mental States in Movie Scenes
CVPR 2023
任务:电影故事分析需要理解人物的情绪和心理状态。为了实现这一目标,作者将情感理解定义为在电影场景和每个角色的层面上预测多样化和多标签的情感集。
本文工作:提出了EmoTx,这是一种基于多模态Transformer的架构,它可以利用视频、多个角色和对话来进行联合预测。通过利用MovieGraphs数据集中的注释,目标是预测典型的情绪(例如快乐、愤怒)和其他精神状态(例如诚实、乐于助人)。
作者对最常出现的10个和25个标签进行了实验,并对181个标签到26个标签进行了映射。消融研究和与最先进的情绪识别方法的比较显示了EmoTx的有效性。
代码:https://katha-ai.github.io/projects/emotx/
更多论文分享,请参考: 深度学习相关阅读论文汇总(持续更新)