Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking

Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking

论文:https://arxiv.org/abs/2107.05002

任务

解决抽取式阅读理解中低资源语言训练数据不足的问题。 通过在多语言环境中对现有的高质量提取式阅读理解数据集进行建模,提出了一个跨语言转置再思考(XLTT)模型(Cross-Lingual Transposition ReThinking)。

方法(模型)

提出了多语言适应性注意(multilingual adaptive attention MAA),将intra-attention,inter-attention结合起来,从每一对语言家族中学习更普遍的可归纳的语义和词法知识。为了充分利用现有的数据集,本文采用了一个新的训练框架,通过计算每个现有数据集和目标数据集之间的任务级相似度来训练模型。

模型结构

  • 首先,对于现有的抽取式阅读理解数据集,首先利用GNMT构建了多个语系的多语言平行语料,如(英语、日语、韩语…)。
  • 其次,利用多语言自适应注意力,在多语言环境中学习语言学相关的语义和词汇知识,以普及到低资源语言。
  • 然后,计算每个训练数据集和目标数据集之间的任务级余弦相似度(使用TF-IDF计算),以使用多个训练数据集。
image-20210818111737645

使用共享的多语言编码器,如Multi-BERT和XLM-R,对构建的多语言平行语料库进行编码,以获得上下文的向量表示。

主要贡献:

  • 提出了一种跨语言转置再思考(XLTT)的方法,在多语言背景下利用现有的大规模高质量ERC(抽取式机器阅读理解)数据集来解决低资源ERC的问题。
  • 提出了多语言适应性注意力(MAA)机制,通过结合intra-attention和inter-attention的关系,可以使抽取性RC模型从每一对语言家族中捕捉到更普遍的可归纳的语义和词汇信息,有利于推广到低资源语言。本文还提出了一个新的训练框架,通过计算每个现有训练数据集和目标数据集之间的任务级相似度来训练ERC模型。
  • 实验结果显示,本文提出的模型在2个多语言提取阅读理解基准上的表现优于6个基准,证明了多语言建模方法的有效性。

数据集

MLQA

七种语言的多向平行抽取式问题回答评估基准

TYDI QA

涵盖11种不同类型语言的QA数据集,有204K个QA对。

XQuAD

通过将实例翻译成十种语言,从240个段落中获得了1190个SQuAD v1.1 QA对的数据集。

XTREME

大规模的多语言多任务基准,用于验证和确认多语言模型的跨语言泛化能力。

性能水平&结论

MLQA数据集测试结果:

QQ20210818-195753

XQuAD数据集测试结果:

QQ20210818-195811

与之前的最佳模型相比,XLTT模型在MLQA测试集上取得了平均5.1的F1成绩和4.5的EM成绩,在XQuAD测试集上获得了平均2.7的F1成绩和3.6的EM成绩。两种多语言ERC的实验结果证明了本文提出的多语言ERC方法对对低资源语言的有效性。

### 回答1: 提升单目深度估计方法来改进海洋透视。 海洋透视是指由于海洋介质的光学特性,人眼在水下观察物体时出现的模糊和失真现象。为了改善海洋透视,可以利用单目深度估计方法。 单目深度估计是借助计算机视觉技术来估计图像中每个像素点与相机的距离。在传统的单目深度估计方法中,主要依赖于图像中的几何和纹理信息来推断深度。然而,在海洋环境中,由于光线的折射和散射,图像中的几何和纹理信息丧失较多,导致传统方法的准确性下降。 为了克服这个问题,可以通过改进单目深度估计方法来提高海洋透视的效果。一种方法是利用深度学习技术,通过训练神经网络来学习从输入图像中预测深度的映射关系。可以使用已标注的水下图像数据集进行监督学习,使网络能够学习到更准确的深度估计模型。另外,还可以对网络进行迁移学习,使用在陆地环境下预训练的模型,在海洋环境中进行微调,以适应海洋透视的特殊情况。 另一个改进单目深度估计方法的途径是改进特征提取和匹配算法。可以通过使用更好的特征描述子和特征匹配算法,提高单目深度估计的稳定性和准确性。例如,可以使用基于学习的描述子,如深度卷积神经网络提取图像特征,再通过优化的匹配算法实现更准确的深度估计。 总之,通过利用深度学习和改进特征提取与匹配算法,可以显著提高单目深度估计方法在海洋透视上的效果。这将有助于提高水下图像的质量和可视性,在海洋环境下进行相关应用和研究。 ### 回答2: 提升单目深度估计方法以改善水下透视。水下透视是指我们在水下看到的物体变得模糊和失真的现象。为了解决这个问题,研究人员一直在探索使用单目深度估计方法来改善水下透视。 单目深度估计是通过使用单个摄像机来估计图像中物体的距离和深度。在水下,由于水的折射效应,光线会发生折射,导致图像失真。因此,传统的单目深度估计方法往往无法准确估计水下的物体距离和深度。 为了解决这个问题,研究人员提出了一些改进的单目深度估计方法。这些方法包括使用水下场景中的先验知识和模型,从而更好地估计水下物体的深度。例如,可以通过水下传感器捕获的信息来构建水下场景模型,并在深度估计过程中结合使用。此外,还可以利用水下图像的颜色和纹理信息,通过神经网络和机器学习方法进行深度估计。 这些改进的单目深度估计方法的应用可以在水下摄影、水下导航和水下探测等领域中发挥重要作用。例如,在水下摄影中,利用改进的深度估计方法可以提高图像的清晰度和质量,使得拍摄的照片更加真实和可视化。在水下导航和探测中,使用改进的单目深度估计方法可以提供更准确的水下环境信息,从而帮助人们更好地识别、定位和探测水下物体。 总之,改进的单目深度估计方法可以有效地改善水下透视问题,并在水下领域的各个应用中发挥重要作用。随着技术的不断发展,相信这些方法将进一步提升水下图像和数据的质量和可用性。 ### 回答3: 提升海洋透视图像的质量可以通过单目深度估计方法来实现。海洋透视图像通常受到水下湍流、波浪和光线散射等因素的影响,导致图像质量下降。而单目深度估计方法可以通过分析图像中的视差信息来估计场景中的深度信息。 单目深度估计方法有多种实现方式,其中一种常用的方法是基于卷积神经网络(CNN)。该方法通过训练一个深度估计网络,从输入图像中直接预测每个像素的深度信息。训练过程使用带有深度标签的真实图像和对应的深度地图进行,可以通过最小化预测深度与真实深度之间的差异来优化网络参数。 通过使用单目深度估计方法,可以从原始的海洋透视图像中获取更准确和清晰的深度信息。这将有助于改善海洋透视图像的视觉效果和质量。准确的深度信息可以用于场景还原、物体分割和虚实混合等应用中。此外,通过深度估计,还可以对图像进行后续处理,如去除湍流和波浪的影响,进一步提高视觉效果。 总而言之,使用单目深度估计方法可以有效地改善海洋透视图像的质量。这一方法通过分析图像中的视差信息来预测深度信息,从而提供更准确和清晰的深度信息。这将有助于改善海洋透视图像的视觉效果和质量,并为进一步的图像处理提供基础。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

没有胡子的猫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值