【多模态】《GATED MULTIMODAL UNITS FOR INFORMATION FUSION》论文阅读笔记

一、概述

这篇文章做的是多模态分类任务——也就是融合视觉和文本特征，并进行分类。这篇文章主要的亮点在于使用了类似于LSTM中的gate机制，提出了一种基于门控神经网络的多模态学习新模型。 门控多模态单元 (GMU) 模型旨在用作神经网络架构中的内部单元，其目的是根据来自不同模态的数据的组合找到中间表示。 GMU 学习使用乘法门来决定模态如何影响单元的激活。

我们提出的模块基于门的想法，用于选择输入的哪些部分更有可能有助于正确生成所需的输出。 我们使用同时为各种特征分配重要性的乘法门，创建不需要手动调整的丰富的多模态表示，而是直接从训练数据中学习。

这项工作的主要假设是，与手动编码的多模态融合架构相比，使用门控单元的模型将能够学习一种依赖于输入的门控激活模式，该模式决定了每种模态如何对隐藏单元的输出做出贡献 .

二、模型

每个 xi 对应一个与模态 i 相关的特征向量。 每个特征向量都为神经元提供一个 tanh 激活函数，该函数旨在根据特定的模态对内部表示特征进行编码。 对于每个输入模态 xi，都有一个门神经元（在图中由 σ 节点表示），它控制从 xi 计算的特征对单元整体输出的贡献。 当一个新样本被馈送到网络时，与模态 i 相关的门神经元接收来自所有模态的特征向量作为输入，并使用它们来决定模态 i 是否有助于特定输入的内部编码 样本。

图 2.b 显示了用于两种输入模态 xv（视觉模态）和 xt（文本模态）的 GMU 的简化版本，将在本文的其余部分中使用。 应该注意的是，这两个模型并不完全等效，因为在双峰情况下，门是绑定的。 这种权重绑定限制了模型，因此单元在两种模式之间进行权衡，同时它们使用的参数少于多模式情况。 控制这个 GMU 的方程如下：

这里要说明一下之所以用两种激活函数，即tanh和sigmoid的原因：

1. sigmoid 用在了各种gate上，产生0~1之间的值，这个一般只有sigmoid最直接了。
2. tanh 用在了状态和输出上，是对数据的处理，这个用其他激活函数或许也可以。