SentiBank: Large-Scale Ontology and Classifiers forDetecting Sentiment and Emotions in Visual Conte

论文地址：SentiBank | Proceedings of the 21st ACM international conference on Multimedia

摘要：

一张图片胜过千言万语，但是应该用什么词来描述日益流行的社交多媒体所传达的情绪和情感呢?我们展示了一个新的系统，它结合了心理学的声音结构和从社交多媒体中提取的民间分类学，开发了一个由1200个概念和相关分类器组成的大型视觉情感本体，称为SentiBank。每个概念被定义为一个形容词名词对(ANP)，由一个强烈表达情感的形容词和一个对应于具有合理自动检测前景的物体或场景的名词组成。我们相信这种大规模的视觉分类器提供了一种强大的中级语义表示，使社交多媒体的高级情感分析成为可能。我们展示了由SentiBank实现的新应用，包括社交媒体的实时情绪预测和丰富直观语义空间中视觉内容的可视化。

1. INTRODUCTION

一张图片胜过千言万语:视觉内容提供了丰富的补充信息，而不是随附的文字所揭示的。在Twitter等日益流行的社交媒体中，视觉内容的作用变得更加突出，这些媒体的文本描述仅限于非常短的消息(140个字符)。在这种情况下，从视觉内容中提取信息对于理解多媒体内容中所传达的丰富情感、影响或情感至关重要。

现有的社交多媒体情感或情感分析研究要么局限于文本分析，要么直接进行低层次视觉特征的映射影响[1,2]。在这里，我们提倡一种新的方法，侧重于构建一个大型概念本体和相关的自动分类器库，旨在从视觉内容中提取中级语义属性。我们的努力受到过去十年多媒体和计算机视觉社区在语义概念发现和学习方面取得的重大进展的启发。但为了使高层次的情感分析可行，我们特别关注从情感心理学理论中汲取良好基础的语义概念[3]，与社交媒体用户使用的实际术语密切相关，并考虑使用当前计算机视觉和多媒体分析技术的实际可检测性。

我们已经开发了一个大规模的视觉情感本体，其中包括1200个语义概念和相应的自动分类器，称为SentiBank[4]。每个概念都被定义为一个形容词名词对(ANP)，由一个强烈表达情感的形容词和一个对应于具有合理自动检测前景的物体或场景的名词组成。在本文中，我们展示了由SentiBank实现的几个令人兴奋的应用:
(1)对视觉内容中的情感(情绪或情感)进行鲁棒预测;
(2)使用高效的可视化工具(如情感轮和树图)沿着高维情感概念空间对大型图像数据集进行交互式探索;最后
(3)用于监控实时社交多媒体流中存在的情感概念的多模态界面(包含新颖的声音和动画效果)。

2. SENTIBANK ONTOLOGY AND CLASSIFIERS 

图1总结了在SentiBank中构建视觉情感本体和大型概念分类器的过程。这个过程始于一个被称为普鲁契克情绪之轮(Plutchik’s Wheel of emotions)的成熟的情绪心理学模型[3]。

首先，对Plutchik理论中的24种情绪进行数据驱动的挖掘步骤，以找到相关的标签。
从Flickr和YouTube上检索图像和视频，并将情感作为查询词。
然后，发现与每种情绪频繁共存的标签(例如，“joy”导致“happy”和“beautiful”)。
然后，我们应用文本解析和基于词汇的情感分析工具来寻找“极化”(积极或消极)形容词，然后将其与检索图像集中经常作为短语一起使用的名词配对，形成3000多个形容词名词对(ANP)。
然后，我们使用从Flickr抓取的相应训练图像为每个ANP训练一个机器学习分类器。最后一组分类器，经过检测精度的过滤，包括1200个ANP概念检测器，涵盖178个形容词和313个名词。
大多数分类器的准确率(以f分数衡量)高于0.6(所有概念检测器的AP@20>0)，验证了分类器的合理可检测性。完整的概念列表和培训过程的细节可以在[4]中找到。

3. APPLICATIONS AND DEMOS

为了展示所提出的情感本体和SentiBank概念分类器的强大功能，下面我们将描述一些用于大型图像探索和实时媒体监控的新应用。互动演示也可以在http://visual-sentimentontology.appspot.com/上在线观看。

演示A:情感情感概念浏览器

利用SentiBank本体中的心理学原理结构，我们开发了一个高效的浏览器，用于在丰富的情感空间中探索大图像集(目前超过500,000张Flickr图像)(图2)。轮子提供了一个直观的地图，根据他们的关系和强度(8个情绪组和3个强度水平)来安排情绪。在选择特定的情绪后，用户可以查看相关的ANP概念(如图所示)以及每个ANP的情绪值和相关情绪分布的信息。这可以让用户快速地了解整个情绪景观、相关的ANP概念以及相应的情绪值。然后用户可以放大查看详细信息.例如示例图像和每个特定ANP概念的检测器精度。

演示B:树图情感概念浏览器

SentiBank本体的层次结构允许开发树图样式的浏览系统，用于在本体和映射的图像集之间导航(图3)。TreeMap的四层结构包括本体根、情感组、形容词，最后是特定的anp。地图中每个块的大小与顶层子节点的数量和叶节点上Flickr图像的数量成正比。从绿色到红色的不同颜色表示情绪值。用户可以通过沿着树的边缘放大和缩小来浏览本体。叶节点也将显示平均图像，并链接到相应ANP的样本图像。与上面描述的情感轮相比，树状图提供了本体每个级别节点的快速摘要，并通过颜色和大小线索进行增强，以指示情感和数据量等附加属性。

演示C:视觉情绪和情绪的实时监控

我们还将树图浏览器扩展到一个新的可视化系统，用于监控实时社交媒体流(如Twitter)中图像中检测到的情绪和ANP概念。为了帮助用户在大量维度上理解丰富的信息，我们以一种新的方式利用多模态线索，通过将传入图像的检测到的情感值映射到音符的音高，即，积极(消极)图像与高(低)音高音符一起显示。此外，检测到的特定ANP概念将以同步动画的方式在树状图的相应区域突出显示。我们发现这种多模态可视化工具增强了声音和动画效果，可以显著提高系统的可用性和吸引力。