3-2-Transformer is All You Need: Multimodal Multitask Learning with a Unified Transformer(arXiv2021)

原文链接 ： http://www.myzaker.com/article/603b16048e9f090f7e42f649

论文链接：https://arxiv.org/pdf/2102.10772.pdf

摘要：在本文中，来自 FAIR 的研究者提出了一个 Unified Transformer（UniT）模型，它可以同时学习不同领域的最重要任务，比如目标检测、语言理解和多模态推理。基于 Transformer 编码器 - 解码器架构，UniT 模型利用一个编码器编码每个输入模态，并利用一个共享解码器在每个任务上对解码后的输入表示进行预测，最后对特定于任务的输出头进行预测。整个模型通过每个任务的损失进行端到端地训练。与以往利用 transformer 的多任务学习不同，研究者在所有任务上共享相同的模型参数而不是单独微调的特定于任务的模型，并处理不同领域的更多样化的任务。在实验中，研究者在八个数据集上共同学习了七项任务，并在相同的监督下通过一组紧凑的模型参数，在每个领域均实现了媲美以往模型的性能。

推荐：本文是 Transformer 跨界应用的又一尝试，研究者提出的 UniT 模型在目标检测、语言理解和多模态推理等多领域均实现了匹配以往模型的性能。这也许真正实现了「Transformer is all you need」。