用于图像情感分析的深度转移学习：共同减少边际和联合分布差异

原文：Deep Transfer Learning for Image Emotion Analysis: Reducing Marginal and Joint Distribution Discrepancies Together

 1.摘要

近年来，对图像情感分析的研究受到了很多关注。 同时，随着卷积神经网络（CNN）在计算机视觉领域取得了巨大成功，许多研究人员开始采用CNN来区分图像情感。 但是，CNN的训练过程取决于足够的标记数据。 因此，CNN很难在缺乏标记信息的图像域中很好地执行。 在本文中，我们提出了一种用于图像情感分析的深度转移学习方法。 该方法可以利用从源域到目标域的丰富情感知识。 我们的方法减少了全连接层的边际和联合域分布差异。 通过这种方式，我们可以有效地提取更多可转移的特征，并提高标签不良情感图像域上CNN的性能。

2.介绍

不同的视觉内容会唤起不同的人类情感，直接影响我们的认知和决策。因此，越来越多的研究者开始研究和解释图像内容中包含的人类情感[30]。大多数传统方法都是基于艺术和心理学理论来手工设计特征，然后通过区分这些特征来识别人类情感[8,17,19,37]。
近年来，深度学习取得了长足的发展，卷积神经网络（CNN）在许多计算机视觉任务上的性能可与人类媲美。同时，大规模图像数据集促进了基于CNN的特征学习。
例如，经过ImageNet预先训练的CNN可以为一般的视觉任务提取更具代表性的特征。在图像情感分析领域，研究证明与传统的手工制作特征相比，基于CNN的特征更具区分性[29]。
但是，CNN在图像情感分析中仍然存在局限性。首先，训练CNN依赖于大量标记数据。但是在许多情感图像领域，被标记图像的数量是有限的，手动标记它们是被禁止的[18]。此外，由于不同的情感图像域表现出不同的图像样式，因此CNN的可扩展性仍然受到限制，这导致了不同的域分布。因此，即使CNN在情感图像域中表现良好，也可能无法在另一图像中获得可比的性能。
转移学习旨在将信息从标签丰富的源域转移到标签较差的目标域[26]。关键的技术问题是如何减少两个域的分配差异。最近，深度转移学习方法已广泛应用于计算机视觉[14,15,24,25]。一个重要的原因是深度模型可以学习更多领域不变特征[29]。由于深度模型更喜欢学习顶层的领域特定功能，因此深度转移学习方法的主要瓶颈在于减少这些层的两个领域分布之间的偏移。
为了将CNN泛化到不同的情感图像域，本文设计了一种新颖的深度转移学习方法，以在小图像域上推广基于CNN的情感分类器。它在图像情感分析上的优势如下：1）我们的方法需要两个域共享相同的CNN。由于不同的情感图像域在像素级别包含相似性元素，因此共享相同的CNN可以在第一层学习更高质量的图像特征。 2）我们都考虑了同一层的边际分布差异[14]和不同层的联合分布差异[16]。深度模型中的各层是联合训练的，因此，我们不仅应考虑一层的边际分布P（Zl），而且还应考虑几层的联合分布P（Z1，ldots，Zl）。适当权衡这两个差异可以提高两个域之间的可转移性。

3.相关工作

心理学研究表明，人类根据不同的视觉内容产生不同的情感[9,11]。并且由于社交网络的发展，越来越多的人上传他们的图像，这增加了用于研究的图像量。因此，情感研究者从心理学分析到图像情感分析越来越重视。一些研究甚至将分析从占主导的情绪转换为个性化情绪[32,34,35]。传统的基于低级特征对图像中包含的情感进行分类的方法[8,17,19,37]。例如，Machajdik等。 [18]设计了8种与情感相关的功能。赵等。 [31]提出了基于原则或艺术的特征来区分情绪。
最近，深度学习取得了长足的发展[6,13]，卷积神经网络（CNN）在计算机视觉中得到了广泛的应用[5,10,22]。一个重要的原因是大规模数据集的出现，例如ImageNet [1]，促进了CNN的特征学习。在视觉情感分析中，You等人。 [28]利用弱标记图像来训练CNN，并学习了二进制图像情感分类器。然后他们建立了一个大规模的图像情感分析数据集[29]。基于CNN的情感分类器优于基于人工制作特征的分类器[29]。但是，训练CNN需要大量标记数据，而许多情感图像领域都缺乏这些数据。尽管设计了一些方法来缓解此问题，例如生成与目标域相似的图像[33,36]，但生成过程比较繁琐，无法保证生成图像的质量。

本文旨在通过转移学习缓解数据短缺问题。转移学习的重点是知识从具有丰富标签信息的源域到目标域的转移[26]。传统的转移学习方法基于浅层特征学习领域不变模型[2,7,20]。最近的研究表明，深度模型可以学习两个域之间的更多可传递特征[27]。例如，当CNN从不同的图像域提取特征时，第一层特征都倾向于类似于Gabor滤镜或色斑。
但是，由于CNN总是在顶层学习特定于域的功能，因此不同域的分布在这些层上存在相对较大的差异。因此，许多研究人员增加了特定的传输模块，以分层的方式减少差异[14,15,24]。这些方法可以促进深度迁移学习的效果。但是，有必要考虑各层之间的依赖性。 Long等。 [16]提出了联合适应网络，该网络首先考虑了所有顶层完全连接层的联合分布。 

4.具体实现

略

5.结论

在本文中，我们提出了一种深度迁移学习方法，用于图像情感分析。 我们的目的是通过从另一个大规模的CNN传递标签信息来提高CNN在一个小型情感图像域上的分类性能。 在转移过程中，我们一起减少了边际和联合分布的差异。 实验结果证明了我们的鉴别图像情绪的方法的希望。 在未来的工作中，我们将探索如何将信息从基于艺术和心理学理论的特征转移到基于CNN的特征。