图片情感识别

由Quanzeng You等人发表在AAAI 2015上Robust Image Sentiment Analysis Using Progressively Trained and Domain Transferred Deep Networks关于图片情感分析的一篇文章，主要目的是将图片分为情感上正负两类。本文的主要贡献是

• 在CNN的基础上，作者提出了一套PCNN的深度模型，对数据集Flickr做情感分类；
• 将Flickr上训练得到的PCNN模型做领域迁移（domain transfer）适应到数据集Twitter上。

Sentiment Analysis

1. 利用自然语言与信息检索来识别情感
2. 利用Tweets来识别情感
3. 利用image来识别情感

PCNN

作者采用的CNN模型如Figure 2所示，在输入层每张图片被resize成256*256大小。

数据集Flickr有将近45万张图像，其中401,739张被作为训练数据，44,637被用作测试数据。作者认为，Flickr是弱标记的，是带有噪声的。如果只是采用一般的流程训练得到一个CNN模型，这样是不够的。为此，作者提出了一套如图Figure 3所示的PCNN模型。PCNN模型的训练主要包括以下几个部分：

1 首先用401,739带有标记信息的训练图像迭代300,000次训练CNN模型

2 用训练得到的CNN对训练集做预测，根据预测值随机采样样本（情感易于被CNN区分的样本会以较大概率被采）

3 用上步随机采样得到的369,828个训练样本迭代100,000次微调CNN模型得到最终的PCNN模型

其具体算法如下：

 

Transform learning

领域迁移主要做的是将Flickr训练得到的PCNN模型迁移到数据集Twitter上。Twitter数据集上包含1269张带有人工标注信息的图片。在做领域迁移时，采用Twitter的训练数据微调Flickr数据集上训练得到PCNN模型。作者采用5重交叉验证的方法说明算法的优良性。

总结

1，面对弱标记带有噪音，弱标记的数据，如何提高CNN模型的精度，作者提供了思路

2，利用大数据集上训练得到的模型解决当前数据集样本不足问题，是近几年比较流行的一个做法。

3，数据集http://cs.rochester.edu/u/qyou/DeepSent/deepsentiment.html