图片情感研究现状与思考

         图片可以在情感层面上影响人，也能够直接表达人的情感。对于个人来说，图片情感是很主观的，但是人类对于图片的情感认知是有共性的，这也是图片情感识别的基础。现在关于图片情感的研究主要集中在两个方面：图片情感识别、情感图片检索。为了识别图片的情感，需要提取图片的相关特征，建立模型，来填补图片本身与情感之间的情感鸿沟（affective gap）。关于情感特征的提取，也是图片情感领域一直以来的热点问题。情感特征主要包括低级视觉特征和高级的语义特征。低级视觉特征主要有颜色、纹理、形状、线条等，而高级语义特征可以分为两个层面：认知层（cognitive level）和情感层(affective level)[3]，认知层是表示人类对于某个事物的认识，这在图片检索中很有用，比如说检索词是一辆酷的车，酷这个词表现出来的情感是是积极的，对情感内容的检索就很重要了；而情感层更多的是利用在某些领域中人类的情感和直觉经验。现在的工作主要还是使用EAEF(elements-of-art based low level emotion features)，但是EAEF有其局限性，第一个与情感的弱连接，对元素的不同安排是很容易受影响的，这直接导致了在图片情感识别上的很差的性能，并且EAEF并不能很好的表示高层情感；第二个是不能被人类理解，因为EAEF是从低层的视角提炼出来的，人类并不能理解这些特征到底代表什么意思，并且为什么这么一些特征就引导了一种特定的情感[18]。这就是引入高层语义特征的原因，这也是目前研究的一个趋势。

         总的来说，主要有两种表情情感的模型，较多的是情感分类，也就是把情感分为几种类型，比如Ekman把情感分为六种:高兴、悲伤、惊讶、恐惧、愤怒和厌恶[8]，情感是离散的；另一种是把情感映射到维度情感空间中，现在主要采用的是三维（valence-arousal-control）情感空间[4]。Lu et al. 通过形状特征研究了情感的可计算性[10]。Machajdik and Hanbury[11]针对艺术作品领域从心理学和艺术理论方面探索了理论和经验的思想，并且提取了包括人脸和皮肤的图