生成-机器翻译
文章平均质量分 92
生成-机器翻译
nopSled
一周一更
展开
-
Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation翻译
摘要翻译 2022-05-27 14:37:56 · 665 阅读 · 1 评论 -
Learning to Rewrite for Non-Autoregressive Neural Machine Translation翻译
摘要1.介绍2.背景2.1 Autoregressive Machine Translation2.2 Non-Autoregressive Machine Translation3.结构3.1 Revisor3.2 Locator4.训练和推理4.1 Training4.2 Inference翻译 2022-03-17 17:37:16 · 319 阅读 · 0 评论 -
Guiding Teacher Forcing with Seer Forcing for Neural Machine Translation翻译
摘要翻译 2022-03-15 11:43:08 · 255 阅读 · 0 评论 -
Exploring Supervised and Unsupervised Rewards in Machine Translation
摘要强化学习(RL)是一种强大的框架,可以解决训练期间使用的损失函数和测试时间使用的评估指标之间的差异。当将RL应用于神经机翻译(MT)时,它最大限度地减少了交叉熵损失和不可微分的评估指标(例如,BLEU)之间的不匹配。然而,这些评估指标是否适合作为RL奖赏是有疑问的:它们倾向于稀疏性,并对于参考文本中的特定单词存在偏差。我们提出通过两种方式使模型更依赖于此类指标来解决此问题:(a)使用熵正规化的RL方法,该方法不仅能最大化奖赏函数,还可以探索动作空间以避免出现峰值分布;(b)采用一种新的RL方法,使用了翻译 2022-03-11 15:04:37 · 161 阅读 · 0 评论 -
Improving Neural Machine Translation with Conditional Sequence Generative Adversarial Nets翻译
摘要本文提出了一种将GAN应用到NMT的方法。我们构建一种条件序列生成对抗网络,其包括两个对抗子模型,即生成器和判别器。生成器旨在生成与人类翻译(即,目标句子)更相似的句子,判别器则用于区分哪些句子是机器生成,哪些是人工翻译的。两个子模型以mini-max方式进行训练,并在达到纳什均衡时实现双赢情况。另外,静态句子级BLEU被用作生成器的强化学习目标,其使得生成器偏向生成高BLEU的句子。在训练期间,使用动态判别器和静态BLEU目标来评估生成的句子并反馈以指导生成器的学习。实验结果表明,提出的模型始终优于翻译 2022-03-09 15:22:55 · 194 阅读 · 0 评论 -
Selective Knowledge Distillation for Neural Machine Translation翻译
摘要神经机翻译(NMT)模型在许多翻译基准上达到了最先进的性能。作为NMT中的活跃研究领域,通过迁移teacher模型在每个训练样例上的知识,知识蒸馏被广泛应用来提高模型的性能。然而,以前的工作很少讨论作为迁移teacher知识媒介的不同样本之间的影响和关系。在本文中,我们设计了一种新的协议,可以通过比较各种样本的内容来有效地分析样本的不同影响。基于上述协议,我们进行广泛的实验,并发现teacher的知识并不是越多越好。对特定样本的知识甚至可能会损害知识蒸馏的整体性能。最后,为了解决这些问题,我们提出了两翻译 2021-12-20 17:50:24 · 722 阅读 · 0 评论 -
Prevent the Language Model from being Overconfident in Neural Machine Translation翻译
摘要神经机器翻译(NMT)模型是一个联合语言模型,其基于所有的源序列以及部分翻译序列来预测未来序列。因此,NMT模型自然涉及语言模型(LM)的机制,即仅基于部分翻译结果来预测下一个字符。尽管NMT最近几年取得了最大成功,但其仍然存在hallucination问题,即能生成流利的句子但翻译不充分。主要原因是NMT主要关注已经翻译的内容,而在一定程度上忽略了源句内容,也成为LM的 overconfidence。因此,我们通过将NMT模型中每个字符的预测概率与LM中预测概率相减来定义NMT和LM之间的边界(Ma翻译 2021-12-08 20:12:22 · 275 阅读 · 0 评论 -
G-Transformer for Document-level Machine Translation
摘要翻译 2021-11-15 17:31:00 · 575 阅读 · 0 评论 -
Meta-Learning for Low-Resource Neural Machine Translation翻译
摘要翻译 2021-04-07 13:20:43 · 538 阅读 · 0 评论 -
Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation翻译
摘要1.介绍2.背景2.1 自回归神经机器翻译2.2 非自回归神经机器翻译3.方法3.1 概述3.2 学习从错误中恢复3.2.1 动态终止机制3.2.2 分段删除机制翻译 2021-04-02 16:14:41 · 767 阅读 · 0 评论 -
INCORPORATING BERT INTO NEURAL MACHINE TRANSLATION翻译
摘要最近提出的BERT在各种自然语言理解任务上表现出强大的能力,例如文本分类,阅读理解等。然而,如何有效地将BERT应用于神经机器翻译(NMT)仍然缺乏足够的探索。虽然BERT通常用于微调,而不是用于下游语言理解任务的上下文嵌入,但是在NMT中,我们实验表明使用BERT作为上下文嵌入的初步探索要比用于微调更好。这激发了我们思考如何沿着这个方向更好地利用BERT进行NMT。我们提出了一种称为BERT-fused模型的新算法,该算法首先使用BERT提取输入序列的表示,然后通过注意力机制将表示与NMT模型的编码翻译 2021-01-15 17:36:17 · 717 阅读 · 0 评论 -
Achieving Human Parity on Automatic Chinese to English News Translation翻译
摘要翻译 2020-11-30 17:43:07 · 410 阅读 · 0 评论 -
Explicit Sentence Compression for Neural Machine Translation翻译
摘要基于transformer的最新技术的神经机器翻译(NMT)系统仍遵循标准的编码器-解码器框架,在该框架中,具有自注意机制的编码器可以很好地完成源语句的表示。尽管基于Transformer的编码器可以有效地捕获源句子表示形式中的常规信息,但是代表句子要点的主干信息并未特别关注。在本文中,我们提出了一种显式句子压缩方法来增强NMT的源句子表示。在实践中,显式句子压缩目标用于学习句子中的主干信息。我们提出了三种方法,包括主干源侧融合,目标侧融合和两侧融合,将压缩语句集成到NMT中。我们对WMT英语到法语和翻译 2020-11-26 19:25:39 · 201 阅读 · 0 评论 -
Simplify-then-Translate: Automatic Preprocessing for Black-Box Translation翻译
摘要黑盒机器翻译系统已被证明对多种应用非常有用,但通过训练的模型很难适应,并调整到特定领域或在其之上构建。在这项工作中,我们介绍了一种通过使用句子简化的自动预处理(APP)方法来改进此类系统。我们首先提出一种使用黑盒MT系统通过反向翻译自动生成大型领域内释义语料库的方法,该方法用于训练一种释义模型,该模型可以“简化”原始句子,从而更有利于翻译。该模型用于预处理多种低资源语言对的源语句。我们表明,与未预处理的源句子相比,这种预处理可以带来更好的翻译性能。我们还将同时进行人工评估,以验证简化句子的翻译效果是否翻译 2020-11-21 11:35:07 · 260 阅读 · 0 评论 -
Controlling the Output Length of Neural Machine Translation翻译
摘要神经机器翻译(NMT)引入的最新进展正在迅速扩展机器翻译的应用领域,并重塑目标质量水平。特别是,如果翻译结果必须适合某些给定的布局,则翻译质量不仅应根据充分性和流畅程度来衡量,还应根据长度来衡量。例如对于文档,字幕和提供给配音的脚本的翻译,理想情况下,输出长度应尽可能接近输入文本的长度。据我们所知,本文首次解决了NMT中控制输出长度的问题。我们研究了使用transformer结构控制输出长度的两种方法:i)将输出调节到给定的目标-源长度比类别,ii)用长度信息丰富transformer位置嵌入。我们的翻译 2020-11-19 20:33:50 · 205 阅读 · 0 评论 -
Controlling Text Complexity in Neural Machine Translation翻译
摘要这项工作引入了机器翻译任务,其中输出针对的是目标语言熟练程度不同的受众。 我们收集高质量的英语和西班牙语新闻文章数据集,针对不同的登记水平进行撰写,并提出一种在可比较的双语文章中对齐细分的方法。由此产生的数据集使训练多任务序列到序列模型成为可能,该模型将西班牙语翻译成英语,其目标是比原始西班牙语更容易阅读。我们证明了这些多任务模型的性能优于pipeline方法,后者可以独立地翻译和简化文本。1.介绍以适当的复杂度生成文本可以使机器翻译(MT)对广泛的用户更加有用。如 Xu et al. (2015翻译 2020-11-13 13:09:38 · 323 阅读 · 0 评论 -
Machine Translation with Unsupervised Length-Constraints翻译
摘要由于使用了深度学习,我们已经看到了机器翻译方面的显着改进。虽然翻译质量的提高令人印象深刻,但编码器-解码器体系结构提供了更多的可能性。在本文中,我们探索其中之一,即约束翻译的生成。我们着重于长度限制,如果要以给定的格式显示翻译,这是必不可少的。 在这项工作中,我们为这项任务提出了一种端到端的方法。与先翻译然后执行句子压缩的传统方法相比,该方法完全无监督地学习文本压缩。通过将该思想与zero-shot多语种机器翻译相结合,我们还能够执行无监督的单语言句子压缩。为了满足长度约束,我们研究了几种将约束集翻译 2020-11-10 16:30:57 · 199 阅读 · 0 评论 -
PAY LESS ATTENTION WITH LIGHTWEIGHT AND DYNAMIC CONVOLUTIONS翻译
摘要self-attention是构建语言和图像生成模型的有用机制。它通过将每个元素与当前时刻元素进行比较来确定上下文元素的重要性。在本文中,我们证明了非常轻量级的卷积可以获得最佳的self-attention结果。接下来,我们介绍比self-attention更简单,更有效的动态卷积。我们仅根据当前时刻预测可分离的卷积核,以确定上下文元素的重要性。这种方法所需的操作数量在输入长度上呈线性缩放,而self-attention是长度的平方。大规模机器翻译,语言建模和摘要总结的实验表明,动态卷积比强大的sel翻译 2020-09-18 14:05:18 · 1801 阅读 · 0 评论 -
Jointly Learning to Align and Translate with Transformer Models翻译
摘要机器翻译(MT)的最新技术是由神经网络方法实现的,它通常比统计方法具有更高的翻译精度。但是,在与单词对齐紧密相关的任务上,传统的统计单词对齐模型通常仍然是首选解决方案。在本文中,我们提出了一种训练Transformer模型以产生准确的平移和对齐方式的方法。我们从常规神经机器翻译模型训练获得的注意力概率中提取离散对齐,并在多任务框架中利用它们来优化翻译和对齐目标。我们证明,与GIZA ++训练的IBM对齐模型相比,我们的方法可产生更好结果,而不会牺牲翻译准确性,并且优于以前基于Transformer模型翻译 2020-08-13 20:30:02 · 446 阅读 · 0 评论 -
NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE翻译
摘要神经机器翻译是一种最近被提出的用于进行机器翻译的方法。不像传统的统计机器翻译,神经机器翻译的目的是构建可以联合调整以最大化翻译性能的单个神经网络。最近提出的用于神经机器翻译的模型通常属于编码器-解码器类型,该类型将源句子编码为固定长度的向量,解码器根据该向量生成翻译。在本文中,我们假设使用固定长度向量是提高此编码器-解码器体系结构性能的瓶颈,并提出通过允许模型自动搜索与预测目标词相关的源句子的部分来扩展此模型,而不必明确地将这些部分构建成为一个固定分段的形式。通过这种新方法,我们在英语到法语翻译任务上翻译 2020-08-11 11:15:48 · 465 阅读 · 0 评论 -
Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation翻译
摘要神经机器翻译(NMT)是一种用于自动翻译的端到端学习方法,具有克服传统基于短语的翻译系统的许多弱点的潜力。不幸的是,众所周知,NMT系统在训练和翻译推理方面在计算上都是昂贵的–在非常大的数据集和大型模型的情况下,有时会令人望而却步。一些研究人员还指控NMT系统缺乏鲁棒性,特别是当输入句子包含稀有单词时。这些问题阻碍了NMT在实际部署和服务中的使用,这些部署和服务中准确性和速度都至关重要的。在这项工作中,我们介绍了GNMT,即Google的神经机器翻译系统,该系统试图解决其中的许多问题。我们的模型包括一翻译 2020-08-09 14:20:10 · 1668 阅读 · 0 评论 -
Neural Machine Translation of Rare Words with Subword Units翻译
摘要神经机器翻译(NMT)模型通常以固定的词汇量运行,但是翻译是一个开放词汇的问题。先前的工作通过退回到字典来解决词汇外单词的翻译。在本文中,我们介绍了一种更简单,更有效的方法,通过将稀疏和未知词编码为子词单元序列,使NMT模型能够进行开放词汇翻译。这是基于这样的直觉,即可以通过比单词小的单位来翻译各种单词类别,例如名称(通过字符复制或音译),复合词(通过组成翻译)以及同源词和借词(通过语音和词法转换)。我们讨论了不同的分词技术的适用性,包括简单字符n-gram模型和基于字节对编码压缩算法的分词,并通过经翻译 2020-07-31 10:20:36 · 1323 阅读 · 0 评论 -
Convolutional Sequence to Sequence Learning翻译
摘要序列到序列学习的流行方法是通过循环神经网络将输入序列映射到可变长度的输出序列。我们介绍了一种完全基于卷积神经网络的架构。与循环模型相比,在训练过程中所有元素的计算都可以完全并行化,从而更好地利用GPU硬件,由于非线性单元的数目是固定的并且与输入长度无关,因此更容易优化。我们使用门控线性单元简化了梯度传播,并且为每个解码器层配备了单独的注意力模块。我们同时在GPU和CPU的WMT’14的英语-德语和WMT’14的英语-法语翻译上优于Wu et al的深度LSTM模型的准确性。1.介绍序列到序列的学习翻译 2020-07-27 09:57:13 · 373 阅读 · 0 评论