AMiner论文推荐:
针对多模态推理系统构建的问题,来自NYU和Facebook的学者提出了MDETR。这是一种端到端的检测器,可以检测以原始文本查询为条件的图像中的对象。MDETR利用基于Transformer的架构在模型早期融合两种模态来联合推理图像和文本。实验在130万个文本—图像对上预训练网络,然后在下游任务上微调,取得了SOTA的结果。并且这个方法很容易扩展到视觉问答,在GQA和CLEVR上取得了不俗的表现。
论文名称:MDETR - Modulated Detection for End-to-End Multi-Modal Understanding
论文链接:https://www.aminer.cn/pub/6088060391e011e25a316ebb?f=csdn
AMiner,让AI帮你理解科学!