【机器翻译】《Gradient-guided Loss Masking for Neural Machine Translation》论文总结

最新推荐文章于 2023-07-08 13:27:52 发布
最新推荐文章于 2023-07-08 13:27:52 发布
阅读量276 收藏
点赞数
文章标签： 机器翻译 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tobi_Obito/article/details/125780853
版权

《Gradient-guided Loss Masking for Neural Machine Translation》icon-default.png?t=M666https://arxiv.org/pdf/2102.13549.pdf这篇论文聚焦机器翻译训练数据集中存在噪音数据的问题，旨在通过干净的数据集来在训练过程中引导模型忽略噪音数据，实现核心是根据干净数据集与训练数据集的训练梯度方向的一致性对Loss进行mask，从而屏蔽将造成干净数据集loss上升的样本影响。

针对问题

当前用于训练机翻模型的数据集中往往包含一些噪音数据，因为在构建过程中一部分数据是人工构建，一部分数据是通过自动化的方式快速构建，后者很难保证质量。训练数据中的噪音将影响机翻模型效果。因此，这篇论文针对这一个问题提出一种由干净数据集“引导”模型带噪学习。关于干净数据集，一方面可以人工从训练数据集中挑选构建，另一方面也可以选择标注质量高的测试集。

核心方法

在已有干净数据集、训练数据集的情况下，问题的关键在于如何用干净数据集来引导模型在训练过程中忽略噪音数据，进

最低0.47元/天 解锁文章
Tobi_Obito
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Multi-contrast brain MRI image super-resolution with gradient-guided edge enhancement
02-07
Multi-contrast brain MRI image super-resolution with gradient-guided edge enhancement
论文篇 | 基于深度学习的机器翻译论文总汇
weixin_44649780的博客
10-25 3266
长期以来，人们一直认为人类翻译的质量对于计算机翻译系统来说是无法实现的。在这项研究中，我们提出了一个深度学习系统CUBBITT，它挑战了这一观点。在人类法官的上下文感知盲测评估中，CUBBITT在保留文本含义（翻译充分性）方面显着优于专业机构的英语到捷克语新闻翻译。虽然人工翻译仍然被评为更流畅，但CUBBIT被证明比以前最先进的系统更流畅。此外，翻译图灵测试的大多数参与者都很难将CUBBITT翻译与人工翻译区分开来。这项工作接近人工翻译的质量，甚至在某些情况下充分超越了它。
神经网络机器翻译Neural Machine Translation(5): Gradient-based Optimization Algorithms
Clear.的博客
06-02 2721
本文将介绍近两年应用到端到端的神经网络模型中的一些优化方法。 转载请注明出处：http://blog.csdn.net/u011414416/article/details/51567362本文将介绍近两年应用到端到端的神经网络模型中的一些参数优化方法，包括SGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam等。本文全文参考自博客：http://sebasti
Adversarial Neural Machine Translation
人工智能
04-28 6505
https://arxiv.org/abs/1704.06933 Lijun Wu, Yingce Xia, Li Zhao, Fei Tian, Tao Qin, Jianhuang Lai, Tie-Yan Liu (Submitted on 20 Apr 2017) In this paper, we study a new learning paradigm
堪比Focal Loss！解决目标检测中样本不平衡的无采样方法
05-13 909
训练目标检测模型的一个难点是样本不均衡，特别是正负样本比例严重失衡。目前解决这类问题主要是两种方案（见综述Imbalance Problems in Object Detection: A Review）：一是hard sampling方法，从所有样本中选择一定量的正样本和负样本，只有被选择的样本才计算loss，一般会倾向选择一些难负例样本，比如OHEM；另外一类方法是soft sampling方法，选择所有样本计算loss，但是不同的样本赋给不同的权重值，比如focal loss。这些基于采样的策略虽然有
21 - Transformer模型总结和loss_mask代码实现
scar2016的博客
04-04 3768
文章目录1. Transformer的特点2. Transformer的使用类型3. Transformer的结构 1. Transformer的特点 1.1 无先验假设(例如无局部关联性假设，无有序建模) 1.2 核心计算在于自注意机制，呈现平方复杂度 1.3 数据量的要求与先验假设的程度成反比 2. Transformer的使用类型 2.1 Encoder Only : Bert , 分类任务，非流式任务 2.2 Decoder Only : GPT系列，语言建模，自回归任务，流式任务 2.3 E
Randomized gradient-free method for multiagent optimization over time-varying networks
02-10
Randomized gradient-free method for multiagent optimization over time-varying networks
Gradient-Informed Path Smoothing for Wheeled Mobile Robots.pdf
03-16
1.输入是path（来自于图搜索或采样式路径规划方法）和steer function，输出是path。分为2个步骤，a:使用梯度下降法，移动和插入顶点使得离障碍物更远、离障碍物近的地方路径点更密集；b:使用基于cost的short-cutting...
Nesterov Accelerated Gradient Descent-Based Convolution Neural Network with Dropout for Facial Expression Recognition
02-08
Nesterov Accelerated Gradient Descent-Based Convolution Neural Network with Dropout for Facial Expression Recognition
为什么会用到masked loss
qq_43118572的博客
07-13 2734
序列模型常常会用到padding（nn.functional.pad()），而padding添加的就是0.0。例如： def train(self, input, real_val): self.model.train() self.optimizer.zero_grad() input = nn.functional.pad(input, (1,0,0,0)) output = self.model(input)
文本摘要项目中对loss进行mask处理，损失为0的，代表不进行梯度更新，打pad后的＜PAD＞如何处理？
人工智能
07-08 494
文本摘要项目中对loss进行mask处理，损失为0的，代表不进行梯度更新，打pad后的如何处理？ mask是由0,1组成的与loss相同shape的矩阵，loss_ = loss_ * mask 就代表着用已经算好的loss对其进行遮掩，遮掩掉’’ 、''对应的loss值，这样就对应位置loss值为0，代表着这部分不进行梯度的更新。loss值为0，就代表。所以该权重没有更新。
机器翻译领域最重要的论文和学术文献目录清单（清华大学NLP组）
qq_31424393的博客
03-31 2873
转载自：http://blog.sina.com.cn/s/blog_56eb62d30102y694.html 参考资料：http://ju.outofmemory.cn/entry/326011 ACL2017录用论文整理 https://www.leiphone.com/news/201708/3bt3QcwNF3o1o3aA.html 万字长文，深度解读11篇 EMNLP 2017 被录用...
机器翻译论文
一直在路上
10-25 2482
(2014)Sequence to sequence learning with neural networks (2014)Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation (2015)NEURAL MACHINE TRANSLATION BY JOINTLY
清华NLP组年度巨献：机器翻译30年最重要论文阅读清单（下）
qq_27009517的博客
01-20 5057
近日，清华大学NLP组总结了最近30年来机器翻译领域最重要的论文和学术文献目录，并在Github上公开放出。 此列表首先给出了30年来机器翻译领域必读的10篇最重要的论文，接下来的内容分为统计机器翻译和神经机器翻译两大部分。由于近年来取得重大突破几乎全在神经机器翻译领域，这份论文目录更为侧重神经机器翻译部分。 每篇论文资源均按作者、题目、发表年份、发表会议/期刊的顺序给出。 新智元在此将清单...
动手深度学习PyTorch（十一）机器翻译
HyperionSS的博客
02-18 1562
机器翻译 机器翻译是指将一段文本从一种语言自动翻译到另一种语言。因为一段文本序列在不同语言中的长度不一定相同，所以我们使用机器翻译为例来介绍编码器—解码器和注意力机制的应用。 1. 读取和预处理数据 我们先定义一些特殊符号。其中“<pad>”（padding）符号用来添加在较短序列后，直到每个序列等长，而“<bos>”和“<eos>”符号分别表示序列的开始和结束...
机器翻译
weixin_40485502的博客
04-26 949
1 模型 1.1 模型 1.2 RNN+Beam search+Attention 损失函数：交叉熵 预测：不使用解码器而是beam search #paddlepaddle from __future__ import print_function import os import six import numpy as np import paddle import paddle.f...
mask的用法
YasmineC的博客
03-30 3675
之前无数次遇见mask，这次总算搞懂了，简单总结下： 控制损失中不同样本的分量 假设损失是对N个样本的单独损失求和，而网络对某些样本的预测已经足够精确了，这时候就可以利用mask（我也不懂为什么要叫mask）控制损失计算时，不同样本的权重，让损失更关注结果差的样本 masks = torch.zeros(len(index)).float().cuda() # 创建masks for m in range(len(masks)): iou = get_iou(index[m], gt_index[m]
机器翻译及其相关技术
m0_37548423的博客
02-17 1181
机器翻译是指将⼀段⽂本从⼀种语⾔⾃动翻译到另⼀种语⾔。机器翻译用到了循环神经网络，但因为⼀段⽂本序列在不同语⾔中的⻓度不 ⼀定相同，比如输入是"I am chinese"机器翻译后输出是“我是中国人”，此时的输入是需要3个神经元而输出需要5个，长度是不同的，因此又不能用传统的循环神经网络。 导入包 import os import sys sys.path.append('/home/kes...
gradient-based neural dag learning
最新发布
09-16
gradient-based neural dag learning（梯度优化的神经有向无环图学习）是一种用于构建和训练神经网络结构的方法。它通过学习网络的拓扑结构，即神经网络的连接方式和层次结构，来优化网络性能。 传统的神经网络结构...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值