论文笔记：Bridging the Gap between Training and Inference for Neural Machine Translation

最新推荐文章于 2024-06-19 15:24:17 发布
最新推荐文章于 2024-06-19 15:24:17 发布
阅读量721 收藏
点赞数
分类专栏： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xiao_yanling/article/details/102620839
版权
本文探讨了神经机器翻译中训练与推理过程之间的差距，包括错误积累和过度纠正问题。提出了两种方法来寻找oracle word：词级别的贪心搜索和句级别的oracle。词级方法基于Gumble Noise选择概率最高的词，而句级方法利用BLEU度量和beam search，但需解决句子长度一致性问题。文章提出强制解码策略，并提出疑问是否能通过注意力机制优化找到oracle word。
摘要由CSDN通过智能技术生成

Motivation

1.训练过程中基于ground truth进行预测，但推理过程中，整个句子都由模型生成，predicted words被fed到模型，可能会造成错误积累。
2.过度纠正问题。

Method

oracle word: 预测词中的ground truth（要自己选出来）
y j − 1 o r a c l e 与 y j − 1 ∗ y^{oracle}_{j-1}与y^*_{j-1} y

最低0.47元/天 解锁文章
Xiao_yanling
关注
专栏目录
论文笔记09 Google's Neural Machine Translation System:Bridging the Gap Between Human and ML
Xiao_yanling的博客
05-19 1938
Google’s Neural Machine Translation System:Bridging the Gap Between Human and Machine Translation
Google's Neural Machine Translation System - Bridging the Gap between Human and Machine Translation - 2016 (1609.08144v1)-计算机科学
04-22
Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine TranslationYonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi yonghui,schuster,zhifengc,qvl,mnorouzi@google.comWolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Łukasz Kaiser,Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason
[ACL2019 Best Paper] Bridging the Gap between Training and Inference for Neural Machine Translation
chenyang2203的博客
09-29 1724
ACL2019 Best Long Paper解读： 目的：解决训练数据的Teacher Forcing问题 训练时使用true ground数据，而推断时使用预测结果作为上文，在训练时会造成overcorrection（同义词结果被过度矫正） 提出在训练时不仅仅使用true ground label，还会结合oracle word作为上下文，结构如下： 在原始NTM的基础上，在j时，输...
论文阅读 “Bridging the Gap between Training and Inference for Neural Machine Translation“
最新发布
qq_46539497的博客
06-19 801
------------------之前神经机器翻译是怎么做的，本文做出了那些改进。神经机器翻译（NMT）以预测下一个词的方式，根据上下文词逐个生成目标词。在训练阶段，它使用真实的上下文词进行预测，而在推理阶段，它必须从头开始生成整个序列。这种提供上下文的差异会导致错误的累积。此外，基于词级别的训练要求生成的序列与真实序列严格匹配，这会导致对不同但合理的翻译进行过度纠正。在本文中，
Bridging the Gap between Training and Inference for Neural Machine Translation翻译
boywaiter的专栏
11-05 2778
Bridging the Gap between Training and Inference for Neural Machine Translation 翻译 摘要 神经机器翻译（NMT）以根据上下文词生成下一个词的方式顺序生成目标词序列。在训练时，它根据真实（这里及下文的真实都是指训练集中真实的译文句子）上下文进行预测，而在推理时，它必须从头开始生成整个词序列。这种（向模型）送入的上下文的差...
自然语言处理顶会 ACL2019论文接收列表
王博（Kings）的博客
07-27 3545
就投稿数量来说，这是历史上最火的一届NLP顶会，有效投稿达到2694篇，相比去年的1544篇增加了75%。此外，本届ACL的评审质量也受到颇多吐槽。你的论文入选了吗？ 下表显示了每个领域的提交数量 (长论文、短论文和总数)。 　　其中，投稿最多的 3 个领域与 ACL 2018 相同： 　　信息提取和文本挖掘 (占所有有效提交的 9.2%，ACL 2018 的这一比例为 11.5%。不过...
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
深度学习 论文
02-22
Layer Normalization (2016), J. Ba et al. Learning to learn by gradient descent ...Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (2016), Y. Wu et al.
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
[目标检测]--CVPR2020-ATSS：Bridging the Gap Between Anchor-based and Anchor-free Detection
weixin_42096202的博客
12-27 3234
论文详细解释了anchor-free与anchor-based的本质区别，此外，使用ATSS去尝试解决label assignment的问题 摘要： 近年来，anchor-based检测器一直主导着目标检测。近年来，anchor-free检测器由于FPN和Focal Loss的引入而受到广泛关注。本文首先指出anchor-based检测与anchor-free检测的本质区别是在于如何定义正、...
不止最佳长论文，腾讯AI在ACL上还有这些NLP成果
AI科技大本营
08-03 2837
编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导语】7 月 31 日晚，自然语言处理领域最大顶会 ACL 2019 公布了今年的八个论文奖项，...
2020CVPR之ATSS：Bridging the Gap Between Anchor-based and Anchor-free Detection
何少的博客
03-31 1万+
论文标题：Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection 张士峰大佬近期发了一篇论文解读Anchor-base和Anchor-free方法间的差别，其本质在于正负样本的选取方式不同。 1、摘要 本文首先指出基于锚点检测与无锚点检测的**本质区...
Robot Operating System --- ROS入门学习笔记
芃晟的博客
03-09 6566
目录 一.ROS简介 1.1 简介 1.2 ROS的总体设计 1.3 ROS安装 1.4 ROS的系统实现 二.ROS的文件系统级 2.1 文件系统级的基本概念 2.2 文件系统级中的src目录详解 2.3 创建工作空间和功能包 三.ROS的计算图 计算图级体现的是进程与系统之间的通信，描述程序是如何运行的。 3.1 基本概念 3.2 详解Topic通信机制（适用数据传...
ACL 2022 | 腾讯AI Lab入选20篇论文：写作助手和交互翻译背后的技术创新
腾讯AI实验室
05-23 1245
感谢阅读腾讯AI Lab微信号第146篇文章。本文介绍腾讯 AI Lab 被 ACL 2022 收录的研究成果。国际最受关注的自然语言处理自然语言处理（NLP）顶级会议 ACL 2022 于今年 5 月 22 日至 27 日举行，包括爱尔兰都柏林的线下会议及线上会议两部分。腾讯 AI Lab 共有 20 篇论文被收录（含 5 篇 findings），涵盖对话与文本生成、机...
机器人操作系统ROS(Robot Operating System)是一个机器人
BBZZ2的专栏
05-23 6491
1、环境 操作系统：Ubuntu 12.04 ROS版本：Hydro 操作系统介绍：ROS 渔龟的首选平台为 Ubuntu 12.04 LTS (Precise)发行版，而ROS 渔龟对其他Linux发行版，Mac OS X，Android以及Windows也有不同程度的支持 ROS版本介绍：ROS Hydro(渔龟)是第七个ROS发行版， 发行时间为2013年9月4日。升级了众多
2020年CCF优秀博士学位论文奖最终名单出炉！清华入选三人，北大...
阿木寺的博客
01-03 3318
点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达作者 |陈大鑫 来源 | AI科技评论昨日，2020年“CCF优秀博士学位论文奖”最终评选结果名单出炉...
[水文]论文极简记录
PeaceInMind的博客
05-18 1659
分割 Pyramid vision transformer: A versatile backbone for dense prediction without convolutions conditional positional encodings for vision transformers [2021-CVPR]Rethinking semantic segmentation from a sequence-to-sequence perspective with transformers. CV
Nexus Parser Band Setup: Bridging Layers for Digital TV Development
Nexus是Broadcom提供的一款用于Digital TV和Set-Top Boxes的开发中间件，其设计目的是通过标准化的API接口将底层硬件和上层应用逻辑分离，以实现底层独立于上层的开发模式。Nexus架构主要包括以下几个关键组成部分：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值