TransVG++:End-to-End Visual Grounding with Language Conditioned Vision Transformer

摘要

提出基于Transformer结构的框架用于visual grounding。
之前的方法强调visual grounding的核心问题，如多模态融合和推理，with人工设计的机制。这种方法很复杂，且容易在具体的数据分布上过拟合。为避免上述问题，提出了TransVG，能够通过Transformer构建多模态关联且通过直接回归定位具体区域。
凭经验判断，Transformer的stack越多效果越好。然而，TransVG中的核心融合变压器是独立于单模态编码器的，因此应该在有限的视觉接地数据上从头开始训练，这使得难以优化并导致次优性能。
为此，我们进一步引入TransVG++来进行两方面的改进。首先，我们通过利用视觉转换器(Vision Transformer, ViT)进行视觉特征编码，将我们的框架升级为 纯粹基于Transformer的框架。另一方面，我们设计了语言条件视觉转换器，该转换器去除外部融合模块并重用视觉语言的单模态ViT。

模型结构

/
/
/

TransVG 和 TransVG++如下图所示。
TransVG : a learnable [REG] token.

结果展示

结论

在本文中，我们介绍了TransVG(初级版本)和TransVG++(高级版本)框架来解决Transformer 的视觉接地问题。TransVG没有使用复杂的人工设计融合模块，而是使用简单的Transformer编码器堆栈来执行多模态融合和视觉接地任务推理。高级版本TransVG++更进一步，升级到纯粹基于transformer的体系结构，并通过将语言参考信息集成到ViT主干来删除独立的融合模块。我们的TransVG++ 简单、高效且准确，潜力巨大。