Abstract
视觉和文本模态之间共同语义特征的现有方法往往忽略了色彩信息的重要性，而色彩信息在情感表达中起着至关重要的作用。本文提出了一种名为ICCI的新模型，旨在通过整合颜色线索来增强社交媒体中的多模态情感分析，以解决现有方法的局限性。该模型利用图像-文本对的语义信息和图像的颜色线索来提高情感分析的准确性。该模型包括一个特征提取模块，该模块从图像和文本中提取语义特征，以及从图像中提取颜色特征。此外，特征交互模块采用交叉注意力机制，实现语义特征和颜色特征之间的信息交互。最后，标签预测模块集成了所有注意力特征，增强了多模态情感分析。
1. Introduction
事实上，长期以来，色彩一直被认为是情感的有力传达者，包含微妙的细微差别，可以增强整体表达的情感。颜色可以被视为低级视觉特征或感知属性。它们具有独特的能力，可以提供额外的线索和细微差别，这些线索和细微差别是图像情感内容不可或缺的一部分。因此，忽视颜色在情感分析中的作用，不仅忽视了有价值的线索，而且阻碍了对社交媒体中情感内容的全面理解。
在某些情况下，个体对图像语义信息的注意力降低，因此颜色等非具象元素可能会引发更强烈的情绪。心理学研究和艺术理论已经证明了色彩特征在为图像的情感内容提供有价值的见解方面的重要性。为了说明这一点，图 1中描绘的图像。虽然图像（a）和图像（b）描绘了相同的内容，但由于包含蓝色的海水和晴朗的天空，与不太活跃的图像（a）相比，图像（b）更有可能引起积极的情绪。此外，当与文本结合时，图像（b）被证明比图像（a）更有效地传达情感信息。这个例子强调了在开发更准确、更强大的多模态情感分析模型时全面考虑颜色特征的重要性。
传统方法通常依靠简单的统计技术（例如颜色直方图）来提取表示颜色信息的低维向量。然而，这些方法可能无法捕捉到颜色和情感之间的复杂关系。另一个挑战是，颜色的情感影响可能会根据其上下文信息而有所不同。因此，有必要将颜色和语义信息结合起来，进行有效的多模态情感分析。
为了解决上述挑战，本文提出了一种新的模型，用于整合颜色线索以改进多模态情感分析（ICCI）。ICCI 模型引入了颜色作为附加模式，以克服现有方法的局限性，ICCI模型由三个主要模块组成：特征提取模块、特征交互模块和标签预测模块。具体来说，特征提取模块从图像和文本中提取语义特征，以及从图像中提取颜色特征。通过这样做，该模型旨在捕获可能影响情绪的所有视觉和文本信息。此外，特征交互模块采用交叉注意力机制，实现语义特征和颜色特征之间的信息交互。这种交互使模型能够识别不同模态之间的关系和依赖关系。最后，标签预测模块集成了所有注意力特征，以生成给定图像-文本对的最终情感预测。通过同时考虑所有模式，ICCI模型旨在全面准确地理解输入数据中表达的情绪。
2. Related work
3. Methodology
本文介绍了由三个关键模块组成的新型多模态情感分析模型ICCI，如图2所示。特征提取模块负责从图像-文本对中提取语义特征以及颜色特征。特征交互模块负责将颜色特征与语义特征交叉关联，并利用注意力机制来增强特征信息。最后，标签预测模块利用融合表示来预测情绪分类结果。
3.1. Feature extraction
利用从 CLIP 模型获得的预训练权重，这些权重在整个训练过程中保持不变。这种方法使我们能够生成图像 I 和文本 T' 的鲁棒表示，这反过来又作为情感分类模型的输入。我们使用 CLIP 编码器生成 512 维表示 V 和 T，并应用 L2 归一化来重新缩放特征向量以具有单位范数。以下是此过程的说明：
颜色特征表示：除了语义特征外，还应考虑颜色信息，因为它们会显着影响图像传达的情绪。颜色在情感分析中的重要性怎么强调都不为过。更改图像的配色方案可以改变它唤起的情绪。因此，将颜色特征纳入分析过程以确保在多模态上下文中进行准确的情感分析至关重要。如果不这样做，可能会导致结果不完整或具有误导性，从而削弱情绪分析模型的有效性。
所提出的获取颜色信息的方法涉及从图像中分别提取RGB和HSV。RGB色彩空间代表红、绿、蓝三色的原色，是计算机视觉中广泛使用的色彩模型。此外，描述色相、饱和度和值分量的 HSV 色彩空间提供了一种直观的方法来表达颜色的色调、饱和度和亮度。这种色彩空间提供了与人类感知相一致的自然色彩表现。通过利用这些特征向量，我们可以有效地将颜色信息整合到多模态情感分析模型中。为了提取图像的主色信息，我们提出了一种使用RGB和HSV色彩空间的串联方法。具体来说，我们计算图像中每个像素在所有颜色通道上的平均 RGB 和 HSV 值。随后，我们使用串联运算将这两个计算的结果结合起来。该过程可以概述如下：
然而，重要的是要承认低维向量 𝐶¯ 在有效捕获情感语义的复杂细微差别方面所带来的局限性。这种局限性是由于颜色信息的维度与图像和文本的维度之间存在巨大差异而产生的。为了克服这一挑战，提出了一种基于线性变换的新方法。
线性变换的理论基础在于维数扩展的概念，旨在增强颜色特征向量的表现力。通过将每个颜色特征向量 𝐶¯ 转换为高维向量表示 𝐶̃ ，我们创建了输入数据中颜色信息的更丰富和信息丰富的表示。这种高维向量表示可以更详细地探索多模态情感分析模型中的颜色线索。
为了实现这一点，我们采用了线性变换矩阵 𝑊𝑐 ，它充当映射函数，将低维颜色向量投射到高维空间中。矩阵 𝑊𝑐 经过精心设计，以保留颜色向量的相关特征，同时扩展其维度。该过程的公式可以在图 中观察到，如下所示：
3.2. Feature interaction
在特征提取模块中，我们提取语义和颜色特征，以便于进行多模态情感分析。如第 1 节所述，内容和颜色因素都可以独立影响社交媒体帖子中表达的情绪。此外，这些因素可能会相互作用，可能会影响整体情绪。尽管这些特征至关重要，但有效利用它们之间的相关性来增强多模态情感分析模型的性能仍然是一个挑战。
为此提出了一种采用多模态融合技术来整合提取特征的新方法。所提出的方法包括两个步骤。首先，利用图像语义特征作为中介，在颜色特征和文本特征之间建立联系;其次，使用注意力机制增强了第一步生成的特征表示。
特征表示融合：所提出的方法的第一步是捕获输入数据中固有的各种模态。为了实现这一点，采用图像语义特征作为中介，以促进其他两种模态的融合。具体来说，我们首先将图像语义特征 V 与颜色特征 𝐶̃ 连接起来。然后，我们将连接的特征与文本语义特征T相乘，以完成多模态融合过程。接下来，我们从融合特征中提取对角线值，从而提供了两种模态之间关系的简明摘要表示。积分特征表示的过程表述如下：
特征表示增强：第二步侧重于增强第一个分支生成的表示。鉴于注意力机制已被证明可以有效地从输入中提取相关信息并生成相应的输出，利用这种机制来改进从第一步获得的特征表示。注意力机制在分析情绪方面发挥着至关重要的作用，它突出了最相关的特征，同时淡化了信息量较小的特征。结合这些信息丰富且相关的多模态特征对于提高情感分析任务的整体准确性至关重要。在这方面，概述了注意力函数范式：
其中查询 （ 𝑄 ）、键 （ 𝐾 ） 和值 （ 𝑉 ） 用于计算注意力分数，同时结合该因子 𝑑𝑘 来缓解当内积变得过大时 softmax 函数中出现的消失梯度问题。因此，对于从 3.1 部分提取的特征 V 和 T，我们采用注意力网络通过与特征表示 F 的显式交互来获得增强的特征表示，表示为 𝐴𝑉𝐻 和 𝐴𝑇𝐻 。生成的最终特征表示（表示为 H）是通过连接 𝐴𝑉𝐻 和 𝐴𝑇𝐻
3.3. Label prediction
特征提取模块已经生成了一个很好学的表示 𝐻 。然后，将 H 输入到具有 Gelu 激活的两层全连接多层感知器 （MLP） 中，以处理输入表示并提取更高级别的特征。随后，将这些层的输出馈送到 softmax 输出层，从而生成情感分类结果。
将预测结果 𝑦ˆ 与真实标签y之间的交叉熵用作损失函数。为了训练一个鲁棒而准确的多模态情绪分析模型，我们利用亚当优化算法来最小化交叉熵损失函数：
其中 𝑦𝑖 表示 𝑖 第个样本的真值标签，其中 0 表示积极情绪，1 表示中性情绪，2 对应消极情绪。此外， 𝑦ˆ𝑖 是 softmax 层 𝑖 的第 th 个输出。
4. Experiment
与现有模型相比，ICCI的卓越性能强调了整合颜色线索并有效地模拟其与语义信息的交互的重要性。通过将特征空间扩展到文本和视觉模式之外，ICCI可以更全面地理解社交媒体内容，从而提高情感分析的准确性。这些结果揭示了在情感分析中利用多模态特征的潜在好处，并强调了考虑多种模式对社交媒体数据进行全面分析的重要性。
即使在没有颜色线索的情况下，包含特征交互模块也能显着提高情感分析的准确性。此外，当颜色线索被整合到特征交互模块中时，准确性和 F1 分数会进一步提高。这一观察结果强调了颜色信息在多模态情感分析中的重要性，强调了其对提高性能的贡献。
证明语义和颜色信息在提高多模态情感分析的整体性能方面发挥了关键作用。通过共同捕获语义和颜色特征并将其集成到统一的表示中，这些模块有效地增强了模型对输入文本和图像中表达的情感的理解。
5. Conclusion
作者提出的ICCI模型以协同方式结合了语义和颜色信息，利用特征交互模块有效地捕获了这些模式之间的相关性。这种集成显著提高了情感分析的准确性。为了评估所提出的方法的有效性，我们在多模态情感分析中常用的基准数据集上进行了实验。ICCI模型在MVSA-Single数据集上的准确率为79.33%。同样，在MVSA-Multiple数据集上，ICCI模型的准确率为73.29%。这些结果明确地表明，我们的模型优于现有方法，使其成为情感分析任务中最先进的方法。
594
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
