Visually Grounded Reasoning across Languages and Cultures
一句话总结
作者认为以ImageNet为代表的数据集由于数据均来源自英文词库,天生带有英语的偏置,因此提出了多文化多语言的数据集MaRVL,以推动领域发展。
关于本文:
来自EMNLP 2021的Best Paper,今年EMNLP的长、短、demo最佳论文均为数据集相关文章,可见算法做到一定程度之后,领域自然又会将目光聚焦在数据身上,算法-数据集-算法-数据集,或许是一个必然的上升螺旋吧。
另一方面,多模态也渐渐地成为了NLP发展的一个重要趋势,毕竟人类在理解语言的时候总离不开图像感知的参与。
导论
Motivation:
众所周知,ImageNet数据集为CV领域开辟了道路,现今广泛使用的视觉语言数据集和预训练编码器均是基于ImageNet建立,或者从中吸取灵感而来的。然而,由于其数据来源主要是英文的词汇库和图像查询,会带有北美或西欧的数据偏置。
有证据表明ImageNet数据的来源(origin)与内容(content)都存在着某种倾向,也有人曾为了纠正这种倾向提出干预数据,过滤、重新平衡一些类别,但若是原分布本就未能涵盖多语言多文化,这种方法便不足以解决这个问题。
作者用一章的篇幅论述了ImageNet的局限性以及偏置的来源。
简单来说,在局限性方面,作者认为ImageNet数据集概念不普遍、概念过于特定于英语。偏置来源于 概念的选择(其中1K个随机选择的概念可能有所偏向)、候选图像检索(检索到的图像不符合真实世界分布)、图像过滤(完全取决于AMT标注者)。
Contribution:
作者设计了一种新的 protocol 来构建一个代表更多语言和文化的 ImageNet 风格的层次结构,让概念和图像的选择完全由母语人士驱动,而不是自动抓取它们。具体来说,这些人关注的是一组不同类型的语言,即印尼语、简体中文、斯瓦希里语、泰米尔语和土耳其语。
他们通过要求注释者比较对比 图像对 来引出对图像的母语描述,任务是确定这些基于图像的描述是真是假。因为这个任务需要跨模态的信息整合,以及深层的语言理解,而不仅仅是匹配表面特征。
借助这种方法,他们创建了一个基于视觉、语言多元文化推理(Multicultural Reasoning over Vision and Language,MaRVL)的多语言数据集。
可以看出,概念、图像以及语言的多样性共同组成的领域变化使得MaRVL数据集极具挑战性。
MaRVL:数据标注
数据集的创建一共分为五步
语言选择
作者选择了五种语言,分别是印尼语、简体中文、斯瓦希里语、泰米尔语和土耳其语,从类型(typologically)、语系(genealogically)、地理(geographically)上皆不同。另外,还覆盖了不同的写作系统并包含了低资源语言。
普适性概念选择
特定语言概念选择
每种语言雇了五个Native Speaker为他们所属文化的每一个语义域的5到10个特定概念提供Wiki百科页面的链接。
概念需要满足两个关键需求:
- 在使用这种语言的人群中 常见或有代表性
- 最好是以物质形式存在且具体的
比如说,中文的古筝
图像选择
描述标注
从图像集中随机选8张图像,随机组成4个图像对。
每位标注者被要求写一个描述,此描述对于两个图像对为True,两个图像对为False。
在最后的数据集中,一个数据点包含两张图像,一个描述,和一个True/False标签。
数据集分析
图像分布
作者使用在ImageNet上训练的ResNet50 分别对MaRVL图像以及从NLVR2采样的1K张随机图像进行特征提取,提取后使用UMAP将它们的嵌入分布可视化。
结果发现,MaRVL的中文图像与来自NLVR2的英文图像有着极为不同的分布。
同时,也对MaRVL中的印尼语和斯瓦希里语的图像分布进行了比较,结果表明在不同语言间也有着不同的分布,这主要是由于两者特有的概念集合。
💡 UMAP 通过聚类的方式将图像分布可视化
实验
两个评价指标:准确率、一致性(对所有对应图像对的预测都是正确的唯一句子的比例。)
可以看到,多种预训练模型在MaRVL的Zero-shot实验中效果下降明显,对于资源丰富的中文一样如此。相比之下,Translate test实验有着不同程度的提升,但比起NLVR2依旧有着10%的差距。作者认为这种明显的下降是由于MaRVL数据的OOD本质。
Translate test实验 使用机器翻译将各种语言翻译为英文
解耦分布变化
MaRVL的挑战性主要在两方面:
- 跨语言迁移
- 分布外概念 OOD
作者又设计了一组控制实验,他们将MaRVL-ZH人工翻译成了英语,去除了机器翻译所带来的任何可能的混杂因子。
最左栏结果表明,和Translate test相比,除了mUNITER之外每个模型都有1-2%的提升,因此翻译是很可靠的。那么,导致模型下降10%的便是那些OOD概念了。
💡 做这个实验是想要控制机器翻译对Translate test实验的影响,证明是OOD概念导致的效果下降。
从NLVR2测试集取样250个唯一的描述,对应着1000个数据点,记为NLVR2-EN,将它们人工翻译成简体中文,记为NLVR2-ZH,再进行两次实验,即图中右两栏。
可以看到,mUNITER和xUNITER的准确率下降了约16%,因此,这种gap可以归因于从英语到汉语的跨语言迁移。
最后,作者建立了跨语言迁移第三种可能方法的baseline——translate train,将NLVR2的训练集机器翻译为中文,并在MaRVL-ZH上验证,发现mUNITER和xUNITER的结果和Translate test实验时很接近,再一次说明 缺乏文化相关概念阻碍了泛化。
💡 这一段的论述和实验思路并不能说特别清晰,感觉两个难点OOD概念和跨语言迁移并不能拆开来讲。
个人理解为,跨语言迁移这一过程会丢失文化相关概念,而每一种语言都拥有特有的OOD概念,因此有着准确率的gap。
进而强调多语言多文化数据集的重要性。