Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentime

Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentiment Analysis

代码

https://github.com/eclare-lab/Multimodal-Infomax.

一、互信息是什么？

互信息是信息论里的原理，是联合分布与边缘分布 的相对熵，公式如下
E表示联合分布的统计平均值，即信源的不确定性等于每个符号的不确定性的统计平均值

二、模型构建

2.1 问题定义

X表示文本，图像，语音（t，v，a）三种输入模态，Lm是每种输入模态系列长度，dm是特征向量维度。

本文目标是由输入x预测输出y，y能够反映出情绪强度

2.2 总体思路

2.3 输入模态编码

文本用BERT编码，其他两种模态用SLSTM编码

2.4模式间互信息最大化

两个模态为一组，分成两组，用公式（3）计算最大互信息。因为text贡献更大，因此每组都含有text，也就是公式中的X，而visual和acounstic是Y。其中q(y/x)用多元高斯分布来表征，通过计算（4）损失函数最小化来预测多元高斯分布的均值和方差。

（4）中L是损失函数，N是batch size。最小化损失函数更新多元高斯分布神经网络的参数。使得条件概率q（y/x）最大化，互信息也就越大。

公式（3）中还剩下H（Y）未知，用高斯混合模型求解。每一类用两个正态分布表示（如（5），一个正极性一个负极性）
然后计算多变量正态分布的信息熵如（8）
![在这里插入图片描述](https://img-blog.csdnimg.cn/1daa818a1e994e27868c3a5fc54 表示第一个正太分布的协方差。
互信息下界的最大化的损失函数等于两组数据相加（tv的互信息+ta的互信息），如公式（9）

注意：这里的LBA是第一个损失函数。互信息最大化使得每个模态的表征更加准确。

2.4 融合阶段的互信息最大化

目标：计算输入模态X和融合结果Z之间的互信息，使其最大化。即求得F的最优表示函数文章采用从Z预测X的反过程。s 是输入和输出之间相似度的度量，用互信息来衡量相似度。G是参数为o的神经网络，能够由Z预测到h，每个模态的损失函数如（11）

这一层级总的损失函数是：
根据（12）优化F并预测输出的y，然后计算损失（13）

最后总的损失函数为（14）

总结

1.CPC编码没看懂
2.互信息加个负号就是损失函数？（9）