【论文小结】CLGSI: A Multimodal Sentiment Analysis Framework based on Contrastive Learning Guided by Sent

1. CLGSI: A Multimodal Sentiment Analysis Framework based on Contrastive Learning Guided by Sentiment Intensity

1. 期刊/会议：NAACL 2024
2. 代码：https://github.com/AZYoung233/CLGSI

优化点

· 不同样本对的情感强度差异。大多数基于对比学习的现有MSA方法在对比学习的表示空间中，对不同样本对的学习一视同仁，缺乏对表示空间中具有 不同情感强度差异的样本对 分布的深入学习，应针对情感强度差异不同的样本对给予 不同程度的关注。
· 表示信息的融合。通过对比学习训练得到的模态表示仅进行 简单拼接 后输入MLP，可能限制模型的泛化性能，应进一步探索表示信息融合的方式。

主要思想

· Contrastive Learning Guided by Sentiment Intensity (CLGSI，情感强度主导的对比学习)：对比学习的正、负样本对根据 情感强度差异 进行选择，并相应地 分配权重，从而在对比学习过程中引入更细粒度的信息。
· Global-Local-Fine-Knowledge（GLFK，全局-局部-精细知识）：多模态表示融合机制。融合通过对比学习训练得到的各模态表示，以提取 不同模态间的共有特征。同时，使用 MLP 处理每个模态编码器的输出，以提取 各模态的特定特征。最终，通过对共有特征和特定特征的联合学习来预测情感强度。

模型整体结构

$F_c^{\ast }$表示共有特征，$I_v^s$、$I_t^s$和$I_a^s$分别表示与每个模态相关的特定特征。

公式

$I_t\in {\mathbb{R}}^{l_t\times d_t}$、$I_v\in {\mathbb{R}}^{l_v\times d_v}$和$I_a\in {\mathbb{R}}^{l_a\times d_a}$分别表示样本的文本、视频和音频模态的编码表示。其中， l m ∈ { t , v , a } l_{m_{\in}\{t, v, a\}} lm∈​{t,v,a}​表示每种模态的序列长度， d m ∈ { t , v , a } d_{m_{\in}\{t, v, a\}} dm∈​{t,v,a}​表示对应的特征向量维度。

【Common Feature Extraction】：主要目的是 将来自不同模态的信息投影到同一表示空间中。
· 对于文本模态，使用 BERT 的 [CLS] 向量 $I_t^c\in {\mathbb{R}}^{1\times d_t}$ 作为公共向量表示。
· 对于视频和音频模态，分别使用Transformer编码器最后一层的最后一个输出向量 $I_v^c\in {\mathbb{R}}^{1\times d_v}$ 和 $I_a^c\in {\mathbb{R}}^{1\times d_a}$ 作为公共向量表示。
· 这三个向量经过全连接（FC）层和 ReLU 激活函数转换为相同维度 $T_c\in {\mathbb{R}}^{d_c\times 1}$、$V_c\in {\mathbb{R}}^{d_c\times 1}$ 和 $A_c\in {\mathbb{R}}^{d_c\times 1}$。
· 将$V_c$、$T_c$ 和 $A_c$ 堆叠成一个新的矩阵 $F_c=\left[V_c,T_c,A_c\right]\in {\mathbb{R}}^{d_c\times 3}$，作为GLFK的输入，从而有利于提取不同模态之间的共同特征。

GLFK 是一种受人类认知过程启发的新颖表示融合机制，由四个组成部分构成：全局（Global）、局部（Local）、精细（Fine）和知识（Knowledge）。

1. 阅读摘要，获取对研究的 整体认知。这对应于 GLFK 的 全局（Global） 组件，在该组件中，我们使用 1×1 卷积操作对信息进行全局压缩。因此，矩阵 $F_c\in {\mathbb{R}}^{d_c\times 3}$ 被压缩为 $F_c^1\in {\mathbb{R}}^{d_c\times 1}$，从而有助于整体内容的理解。
2. 快速浏览 论文，以掌握主要工作，然后进行 深入阅读，以理解技术细节。这对应于 GLFK 的 局部（Local） 和 精细（Fine） 组件。具体而言，我们利用两个 1×1 卷积操作，将 $F_c^1\in {\mathbb{R}}^{d_c\times 1}$ 扩展为 $F_c^2\in {\mathbb{R}}^{d_c\times \beta /2}$，随后进一步扩展为 $F_c^3\in {\mathbb{R}}^{d_c\times \beta }$，其中超参数 $\beta$ 在本文中设定为 16。
3. 读者已对论文形成深刻理解并掌握了相关知识，最后对知识进行 总结，以获得精炼的见解。这一过程对应于 GLFK 的 知识（Knowledge） 组件，在此阶段，我们使用 1×1 卷积操作将 $F_c^3\in {\mathbb{R}}^{d_c\times \beta }$ 还原为 $F_c^{\ast }\in {\mathbb{R}}^{d_c\times 1}$。$F_c^{\ast }$ 为不同模态之间的公共特征。

【Specific Feature Extraction】：主要目的是 高效捕捉单一模态内的全面信息。

· 对于给定的模态 I m ∈ R l m × d m , m ∈ { t , v , a } I_{m} \in \mathbb{R}^{l_{m} \times d_{m}}, m \in\{t, v, a\} Im​∈Rlm​×dm​,m∈{t,v,a}，我们首先沿着序列长度方向使用 全局平均池化（GAP），将 $I_m$ 压缩为 $I_m^1\in {\mathbb{R}}^{1\times d_m}$。
· 应用两步非线性变换，将 $I_m^1$ 投影到一个新的低维空间。
I m s = σ 2 ( W 2 σ 1 ( W 1 I m 1   T ) ) , m ∈ { t , v , a } I_{m}^{s}=\sigma_{2}\left(W_{2} \sigma_{1}\left(W_{1} I_{m}^{1 \mathrm{~T}}\right)\right), m \in\{t, v, a\} Ims​=σ2​(W2​σ1​(W1​Im1 T​)),m∈{t,v,a} 其中，$W_1\in {\mathbb{R}}^{\left(d_m/8\right)\times d_m},W_2\in {\mathbb{R}}^{d_s\times \left(d_m/8\right)},I_m^s\in {\mathbb{R}}^{d_s\times 1}$，${\sigma }_1$ 代表 ReLu 函数，${\sigma }_2$ 代表 Sigmoid 函数。

【Contrastive Learning guided by Sentiment Intensity】：
1. 正负样本对的选择：
① 通过计算对应样本的 情感强度差异 来确定初始的正负样本对。我们在对比学习过程中使用统一映射将标签值转换到 [−1,1]。给定批次 $B$， 我们使用以下公式计算样本 $i\in B$ 与不同样本之间的情感强度差异：
$$D_{(i,j)}=\left|y_i-y_j\right|,j\in B\&j\ne i$$ 其中，$y_i$ 和 $y_j$ 分别表示样本 i 和 j 的情感强度标签。我们使用 情感强度差异阈值 $\kappa$（本论文中超参数设为 0.4）来判断样本 j 是否被分类为样本 i 的初始正样本或负样本。
$$\{\begin{array}{l}{D}_{(i,j)}>\kappa ,(i,j)\in \text{ initial negative pairs }\\ D_{(i,j)}\le \kappa ,(i,j)\in \text{ initial positive pairs }\end{array}$$ ② 基于模态内和模态间的情况，我们对正负样本对进行了详细划分。
· 模态内样本对：
$$\begin{array}{r}{P}_{\text{intra }}^i=\{\left(T_c^i,T_c^j\right),\left(V_c^i,V_c^j\right),\left(A_c^i,A_c^j\right)\mid (i,j)\in \text{ initial positive pairs }\}\end{array}$$ $$\begin{array}{r}{N}_{intra}^i=\{\left(T_c^i,T_c^k\right),\left(V_c^i,V_c^k\right),\left(A_c^i,A_c^k\right)\mid (i,k)\in \text{ initial negative pairs }\}\end{array}$$ · 模态间样本对：
$$\begin{array}{r}{P}_{\text{inter }}^i=\left\{\left(V_c^i,T_c^i\right),\left(V_c^i,A_c^i\right),\left(T_c^i,A_c^i\right)\right\}\cup \{\left(V_c^i,T_c^j\right),\left(T_c^i,V_c^j\right),\left(V_c^i,A_c^j\right),\left(A_c^i,V_c^j\right),\left(T_c^i,A_c^j\right),\left(A_c^i,T_c^j\right)\\ \mid (i,j)\in \text{ initial positive pairs }\}\end{array}$$ $$\begin{array}{r}{N}_{\text{inter }}^i=\{\left(V_c^i,T_c^k\right),\left(T_c^i,V_c^k\right),\left(V_c^i,A_c^k\right),\left(A_c^i,V_c^k\right),\left(T_c^i,A_c^k\right),\left(A_c^i,T_c^k\right)\mid (i,k)\in \text{ initial negative pairs }\}\end{array}$$ 其中，$T_c^i,V_c^i,A_c^i$ 分别对应样本 i 在三种不同模态下的表示。
通过结合样本 i 的模态内样本对和模态间样本对，在对比学习过程中，我们得到样本 i 的正样本对 $P^i$ 和负样本对 $N^i$。
$$\begin{array}{l}{P}^i=P_{\text{intra }}^i\cup P_{\text{inter }}^i\\ N^i=N_{\text{intra }}^i\cup N_{\text{inter }}^i\end{array}$$
2. 对比学习： 在确定正负样本对后，我们尝试基于 情感强度差异 将细粒度信息融入对比学习训练过程中。
例如，给定样本 𝑖、𝑗 和 𝑘，其中样本 𝑖 与样本 𝑗 和样本 𝑘 之间的情感强度差异分别为 0.5 和 1.6，则 (𝑖,𝑗) 和 (𝑖,𝑘) 都是样本 𝑖 的初始负样本对。然而，样本 𝑖 与样本 𝑘 之间的情感强度差异明显更大。因此，在计算对比损失时，我们为 (𝑖,𝑘) 赋予更高的权重，使样本 𝑖 和样本 𝑘 在表示空间中的距离比样本 𝑖 和样本 𝑗 更远。在 CLGSI 方法中，我们设计了一个权重函数：
$${\omega }_{(i,j)}=\{\begin{array}{l}\left|\tanh \left(D_{(i,j)}-2\kappa \right)\right|\times 1.5,(i,j)\in \text{ initial positive pairs }\\ \left|\tanh \left(D_{(i,j)}\right)\right|\times 1.5,(i,j)\in \text{ initial negative pairs }\end{array}$$

为便于表达，我们将模态内和模态间的对比学习整合到同一个公式中。对于给定的批次 𝐵，其对比损失定义如下：
$$L_{cl}=-{\mathbb{E}}_{i\in B}\log \frac{{\sum }_{(a,p)\in P^i}\delta (a,p)}{{\sum }_{(a,q)\in P^i\cup N^i}\delta (a,q)}$$ 其中，$\delta (a,p)=e^{\left[w_{(i,j)}\ast \frac{\mathrm{sim}(a,p)}{\tau }\right]}$ ，$w_{(i,j)}$ 为样本对的权重。

【总体学习目标】：
在提取通用特征和特定特征后，我们将通用特征向量 $F_c^{\ast }$ 和三种模态的特定特征向量 $I_{vs},I_{ts},I_{as}$ 进行拼接，得到 $F^{\ast }=\left[I_{vs};I_{ts};I_{as};F_c^{\ast }\right]\in {\mathbb{R}}^{d^{\ast }\times 1}$，其中 $d^{\ast }=3d_s+d_c$。然后将 $F^{\ast }$ 输入一个三层 MLP 以预测情感强度值 ${\hat{y}}_i$。使用平均绝对误差（MAE）计算 MSA 任务的损失，总体损失函数为：
$$L_{task}=\frac{1}{N_b}\sum _i^{N_b}\left|y_i-{\hat{y}}_i\right|$$ $$L_{\text{overall }}=L_{\text{task }}+\gamma L_{\text{cl }}$$