《Low-rank Random Tensor for Bilinear Pooling》--翻译

paper： https://arxiv.org/pdf/1906.01004.pdf

Abstract

双线性池能够从数据中提取高阶信息，适合于细粒度的可视化理解和信息融合。具有大量参数的双线性模型虽然在各种应用中都很有效，但容易出现维数诅咒和计算困难的问题。**本文提出了一种新的基于低秩随机张量的双线性模型。其关键思想是将低秩张量分解和随机投影有效地结合起来，在保持模型代表性的同时减少参数的个数。**从理论的角度证明了我们的双线性随机张量模型可以估计出特征映射，从而利用组成核重构核希尔伯特空间(RKHSs)，为高维特征融合奠定了理论基础。从应用的角度来看，我们的低秩张量运算是轻量级的，可以集成到标准的神经网络架构中，实现高阶信息融合。我们进行了大量的实验，以表明使用我们的模型可以在几个具有挑战性的细粒度操作解析基准测试上获得最先进的性能。

1 Introduction

我们的贡献总结如下:
• 我们提出了一个具有随机三向张量的双线性模型。该方法通过对每个额叶的低秩分解，显著降低了双线性模型的参数量，可以作为一种计算效率较高的特征融合操作。
• 基于不同的底层分布，我们证明了所提出的随机张量可以估计出具有不同组成核的核希尔伯特空间（RKHSs)的特征映射。
• 我们将我们的方法与最先进的多阶段深度神经网络相结合，用于动作分割，并产生了优异的结果。

5 Conclusion

在这项工作中，我们提出了一个融合高维特征的新双线性模型。
目的： 为了减少模型参数的数量，我们利用低秩张量分解。我们没有像其他作品一样使用elementwise产品，而是使用特征的外部积来对特征通道之间的高阶相关性进行建模。为了在保留参数数目的同时，丰富模型的表示性，我们使用随机投影来近似特征映射，用核成分来再现核希尔伯特空间。为了验证我们的方法的有效性，我们对动作分割任务进行了大量的实验，并在具有挑战性的基准测试中取得了最先进的性能。我们的双线性池操作是轻量级的，易于使用，可以作为细粒度可视化理解和信息融合的自然工具。在未来，我们将把我们的方法应用到其他的任务上，如视听融合和可视化问题回答。