超级会员免费看
ViLT是ICML 2021年的一篇论文，提出了一种更快的视觉语言Transformer模型，无需卷积或区域监督。通过线性嵌入图像，ViLT减少了特征提取的计算成本，同时在视觉语言下游任务中保持竞争力。实验表明，ViLT在速度和性能之间找到了平衡，特别是在VQAv2和NLVR2等任务上。
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
一. 简介
机构：韩国NAVER AILAB
代码：https://github.com/dandelin/vilt
会议: ICML 2021 long paper，截止2023.04，引用量500+
任务: 视觉语言预训练
特点: 快
方法: 视觉特征提取，无卷积，无region监督
1.1 摘要
视觉语言预训练任务已经提升了许多视觉语言下游任务的表现。现有的视觉语言预训练方法往往很依赖图像的特征提取过程，比如区域的监督（像目标检测）以及卷积的结构（像ResNet）。尽管在现有文献中这个问题并没有被重视，但是我们发现它在如下方面会存在问题：（1）效率/速度，单单在提取输入特征就
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
