【多模态论文阅读】HADAMARD PRODUCT FOR LOW-RANK BILINEAR POOLING

一、亮点

本文提出了使用 Hadamard 积的低秩双线性池化，以实现多模态学习的有效注意机制。

除了基础的多模态低秩双线性池化MLB，本文还提出了很多变体，如：

1. 添加偏置项
2. 添加非线性
3. 添加受深度残差学习启发的shortcut connections
4. 添加attention机制

二、MLB推导

所以综上所述：

多模态低秩双线性模型可以使用两个不带偏置项(也可以带)的线性映射来实现，用于embedding两个输入向量，Hadamard 乘积以乘法方式学习多模态联合表示，最终使用一个带偏置项的线性映射将多模态联合表示投影到给定输出维度的输出向量。 然后，我们使用这种结构作为深度神经网络的池化方法。

接下来我们基于受神经网络研究启发的模型讨论低秩双线性池的可能变化。

2.1 FULL MODEL——添加偏置项

2.2 非线性激活

2.3 SHORTCUT CONNECTION

2.4 attention机制