基于抽象关系场景图的图像情感识别

摘要: 图像情感识别是通过分析视觉刺激来预测人类情感的抽象过程。现有方法大多缺乏对对象间关系以及对象与场景间相互作用的关注，并且对象间复杂多样的关系难以得到充分利用，进而导致难以正确对图像情感进行预测。为解决上述问题，提出一种基于抽象关系场景图的图像情感识别方法。首先，构建对象和属性检测器来提取图像中对象及其属性的特征。其次，使用对象特征推理对象间的亲密度和抽象关系特征，进而构建抽象关系场景图。再次，提出抽象关系图卷积网络来推理抽象关系场景图。最后，设计渐进式注意力机制对多个对象特征进行融合，以得到图像的整体对象特征。在FI、EmotionRoI和Twitter I公开数据集上的试验结果表明，该方法的分类准确率优于现有方法。

• 关键词: 
• 图像情感识别  /  
• 抽象关系  /  
• 场景图  /  
• 图卷积网络  /  
• 注意力机制  /  
• 卷积神经网络  /  
• 视觉情感分析  /  
• 深度学习  

图像情感识别（image sentiment recognition, ISR）是一种通过对图像中的各种视觉对象进行分析，进而获得图像所传达情感的任务，该任务是计算机视觉领域的研究热点和难点。随着社交网络的普及，越来越