图片情感识别/分类/分析 概述

（一）简介

图片可以用于传达某些情感，例如看到流浪狗的照片会让你感到悲伤，而看到美景的时候会让你心旷神怡。对图片所传达的情感进行识别分析是一个具有吸引力的问题。目前已经有很多的方法在研究这个课题，本博客主要对自己所看过的相关论文做一个总结分享。

1. 情绪模型

心理学中主要有两种情感表达模型：

• CES (Categorical Emotion States): 类别情绪状态。这种模型主要讲情绪设置为一组预先定义好的种类，例如：伤心，开心，激动等。这种模型所对应的方法将图片情感分析视为一个分类问题。
• DES(Dimensional Emotion Space): 维度情绪模型。其中常用的有 valence-arousal-dominance (VAD) and activity-temperature-weight (VTT) 模型，其中 VAD 模型常用一些。我们可以将其视为颜色中的三种基本颜色，通过不同数值的组合得到一个颜色。VAD 中 valence、arousa l和 dominance 三个维度给一个值就代表一种情感。这种模型所对应的方法将图片情感分析视为一个回归问题。

目前大部分的论文都是使用 CES 模型的，因为这个模型直观简单，但是理论上来说 CES 的情感表达能力不如 DES，比如特别伤心和有点伤心都属于伤心一类，但是在 DES 中各个维度的值就会不同。但是两者之间是有一定联系的。比如下图中的 © 子图，如果按照 CES 就是 fear 一类，如果按照 DES 三个维度对应的值就是 4.1956、4.49989 和 4.8378。

2. 常用数据集

1. IASP (International Affective Picture System)
2. IASPa
3. Abstract
4. GAPED (Geneva Affective Picture Database)
5. MART
6. devArt
7. Tweet
8. FlickrCC (Flickr creative common)
9. Flickr
10. Emotion6
11. FI (Flicker and Instagram)
12. Emotion6
13. IESN
14. FlickrLDL
15. TwitterLDL

3. 问题难点（挑战）

3.1 数据标记困难

标记图片的情感是一件很困难的事情，一是构造大型数据集（深度学习通常需要大量数据）通常需要大量的人力，另外有一个很关键的问题就是情绪这个问题是很主观的：同一张图片不同人可能从中获得的情感是不同的，同一个人在不同时期对同一张图片产生的情感也可能是不同的。因此标注一个大型数据集很麻烦，导致现有的大型数据集很少。解决上述问题的方法之一就是一张图片多个人标注