cyzzwww的博客

翻译 2020-Low Rank Fusion based Transformers for Multimodal Sequences

我们每个人的感官都以一种协调的方式来表达我们的情感意图。在这项工作中，我们尝试建模特定于模态的感官信号，以关注我们潜在的多模态情感意图，反之亦然，通过低阶多模态融合和多模态变压器表达。模态之间的多模态融合的低秩分解有助于表示近似相乘的潜在信号相互作用。在(Tsai et al .， 2019)和(Liu et al .， 2018)的工作的激励下，我们提出了基于变压器的交叉融合架构，没有对模型进行任何过度参数化。低秩融合有助于表征潜在的信号相互作用，而模态特异性关注有助于关注信号的相关部分。