浅析Transformer为什么在多模态任务中受欢迎的原因——以kaggle热门比赛为例

©作者 | 小欣

01 背景

多模态数据的最大挑战之一就是要汇总多种模式（或视图）中的信息，以便在过滤掉模式的冗余部分的同时，又能将补充信息考虑进来。

由于数据的异质性，自然会出现一些挑战，包括各种噪声，模式（或视图）的对齐方式等。

而Transformer，作为曾经nlp领域的SOTA模型，近些年来开始不断入驻其他领域，并拿下了SOTA结果。

随着去年ViT的出现，cv领域也同样掀起了transformer热潮，各种视觉比赛的冠军被transformer类型的模型拿下。

那么，为什么transformer为什么能适用于各种各样的领域，取得不菲的成绩，而cv领域的卷积算子却做不到，本文将以kaggle的一个热门比赛为例，浅析 transformer在多模态领域表现优秀的原因。

02 比赛介绍

kaggle比赛介绍

如上图所示，该比赛是kaggle近期举办的一个多模态任务比赛，目标是预测宠物图片欢迎度。

官方提供了9000多张宠物图像和一个csv表格，该表格记录了每张图像出现的元素成份，比如是否出现宠物眼睛，是否是全身照，是否有遮